洛阳（今河南洛阳东北）人。出身官吏世家。有胆识，善谋略，博览经史，尤好孙子兵书。北魏正光四年（523），任北魏大行台仆射元纂铠曹参军，随其北伐柔然，亲领2000骑追击，前后17战，屡破之。五年，以长流参军随广阳王元渊镇压六镇起义，为之出谋划策。因通晓少数民族语言，于六年六月单骑前往说服西部铁勒酋长乜列河等率3万余户降北魏。又建议先据险要，设伏大败前往拦击乜列河的破六韩拔陵，以功拜积射将军，后又参与镇压鲜于修礼、葛荣、万俟丑奴领导的起义，拜征虏将军。普泰元年（531），任征北大将军、大都督等职。二年，随大司马尔朱天光与丞相高欢战于韩陵山（今安阳东北），兵败入关。永熙三年（534），向征西将军宇文泰献建都关右、挟天子以令诸侯之策，被采纳，任阁内大都督。是年十月至次年正月，北魏相继分裂为东魏、西魏。

西魏大统元年（535），拜骠骑大将军。三年，随宇文泰于沙苑（今陕西大荔南）伏击东魏军，大败之。以功晋爵常山郡公。后又从战河桥（今河南孟州西南黄河上），拜大丞相府长史，兼大行台尚书。九年，与东魏军战于邙山（今洛阳北），初战失利，领所部伪降，待追兵过后，便自后反击之，乘敌阵混乱中夺路返回，使西魏军减轻了损失。十二年，拜尚书左仆射，旋迁司空。十五年，进位柱国大将军。西魏恭帝元年（554），领兵5万攻南朝梁，并预料梁元帝萧绎必据守都城江陵（今湖北荆州西北），遂先遣精骑断梁军退路，后率大军直趋江陵，多路合围，一举克之，擒元帝。三年，拜大司寇。北周孝闵帝元年（557），封燕国公，迁太傅、大宗伯，参与朝政。于谨治军严明，赏罚有信，晚年仍参与征战。北周天和三年病卒。