汾州介休（今山西介休）人。天圣五年（1027）进士及第。历任知县、通判，后由监察御史迁殿中侍御史。时黄德和诬陷刘平等兵败投降西夏，文彦博主持审理，使这一冤案得到平反。后为河东转运使，知秦州、益州，召拜枢密副使、参知政事。庆历八年（1048），以镇压贝州（今河北清河）王则兵变，拜相。皇祐三年（1051）罢相，至和二年（1055）再入相。嘉祐三年（1058），再次罢相，出判河南府。次年封潞国公。治平二年（1065），为枢密使。

宋神宗统治期间，他始终反对王安石变法，曾对宋神宗赵顼建言：“祖宗法制具在，不须更张，以失人心”，“为与士大夫治天下，非与百姓治天下也”。熙宁五年（1072），极力反对市易司差官监卖果实，以为“损国体，敛民怨”。熙宁六年，罢枢密使，守司徒兼侍中、河东节度使、判河阳。熙宁七年，判大名府。元丰三年（1080），守太尉、开府仪同三司、河东节度使、判河南府。在洛阳，与范镇、张宗益、张问、史炤等组织“五老会”。元丰五年，与富弼、王尚恭、司马光等组织“耆英会”。元丰六年，守太师、河东节度使、开府仪同三司致仕。元祐初，司马光当政，以文彦博为太师、平章军国重事，参与废除新法。元祐五年（1090）守太师致仕。后宋哲宗行“绍述”之政，文彦博贬官而卒。徽宗政和五年（1115），赐谥号恭烈，后改忠烈。文彦博历仁、英、神、哲4朝，任将相50年，为宋朝元老重臣。撰有《大飨明堂纪要》2卷、《药准》1卷，皆不存，《文潞公集》传世，中华书局有整理本。