濮阳（今属河南）人。汉景帝任太子洗马，汉武帝任谒者，因调查处置东越相互攻伐事件和河内失火案件得宜，升荥阳令。汲黯耻为县令，以养病为由归里。汉武帝下诏拜为中大夫，出任为东海太守。

汲黯崇尚道家学说，治官理民，清静少事，事务多交郡丞、书吏办理，自己仅制定原则并督查下属按原则行事，不苛求小节。他体弱多病，常闭门不出，而东海郡大治，人人称颂。汉武帝闻讯，召汲黯回京任主爵都尉，比照九卿待遇。汲黯为政，力求无为而治，弘其大要而不拘守法令条文。内行修絜，个性鲜明，不善曲意阿附，多次冒犯圣颜。武安侯田蚡为宰相，权势熏天，二千石的高官来谒见时行跪拜之礼，田蚡竟不还礼。而汲黯见田蚡时从不下拜，拱手作揖而已。史载，汲黯奏事，汉武帝不冠不敢见汲黯。一日，武帝召集文士儒生，讨论达到唐虞之治的办法，汲黯公然说：“陛下心中多私欲，而表面上却假装仁义，怎么可能臻于唐虞之治呢？”武帝闻言变色罢朝。事后武帝对左右说：“汲黯的戆直太过了！”群臣纷纷责备汲黯的言行，汲黯答道：“朝廷设置公卿辅弼圣上，难道是叫我们阿谀奉承陷圣上于不义吗？为臣如爱惜身家，便会贻误朝廷了！”

后汲黯因小过得罪，适逢大赦，仅免官而归田里。元狩四年（前118），汉铸五铢钱，楚地盗铸之风盛行，召拜淮阳太守。汲黯治理淮阳如东海，淮阳政清。7年后，卒于任上。