怀庆河内（今河南沁阳）人。生于金末，幼受章句之学，熟习《尚书》《周易》等经典。蒙古灭金，应试中选，占籍为儒。34岁时，自姚枢处始见《伊川易传》《四书章句集注》《大学或问》《小学》诸书，由此崇信程朱理学。归而谓其弟子曰：“昔者授受，殊孟浪也，今始闻进学之序。”1254年后，在忽必烈朝任京兆提学、太子太保、国子祭酒等职，并与刘秉忠、张文谦等定朝仪、立制度、行汉法、崇儒学。回回人阿合马擅权，许衡弹劾未成，遂辞归。1271年，忽必烈改国号为“元”，复任许衡为集贤殿大学士兼国子祭酒，领太史院事，修授时历。至元十八年（1281）卒，年七十三，赠司徒，谥文正，封魏国公。衡之著述，有《读易私言》《语录》《大学要略》《中庸直讲》《小学大义》《孟子标题》等。乾隆五十五年（1790），汇刊其著为《许文正公遗书》。

在哲学上，许衡指出：“太极之前，此道独立。道生太极，函三为一，一气既分，天地定位。万物之灵，惟人为贵。”认为世界本原是“独立”的“道”，“道”生“太极”，“太极”函天地人而为“一气”，“气”具阴阳，由此化生天地万物，而其中又以人为灵贵。他又称太极是理、天理：“天下皆有对，惟一理无对。一理，太极也。”他说：“有是理而后有是物”，“事物必有理，未有无理之物。两件不可离，无物则理何所寓”，认为理与气互不可离。指出“万物皆本于阴阳，要去一件去不得”，万物皆有刚柔、动静、内外诸矛盾，每一矛盾双方都相济相胜，但矛盾发展最终“以静为主”，止于无对、静止的状态。

在心性问题上，许衡认为人禀赋天理即天命之性。人性本善，是“本然之性”；但人秉气有清浊之不同，故又有“气禀之性”。许衡认为，心性修养包括静时“存养”、动时“省察”两种方法。如此去做，方能使“气服于理”，复见天理。他还提出心与天同的天人合一论，强调“反身而诚”“尊德性”等自省自思的为学方法和修养功夫，认为这样就可以尽心、知性、知天。

许衡被奉为元代理学宗师，对于朱子之《小学》与《四书》“敬信如神明”，为理学在元朝的“承流宣化”作出了重要贡献，号为“朱子之后一人”。许衡理学，不重玄奥隐僻之理，强调道德践履，“其言切近精实，人所易晓”。他认为“道”在日用行事中，不是高远难行之事，并提出“盐米细事”也应当讲究。这在元代北方理学基础较为薄弱的情境下，是有积极意义的。