出生于美国弗吉尼亚州。独立战争期间曾是华盛顿将军的助手。1800年任亚当斯总统的国务卿。1801～1835年，担任联邦最高法院首席大法官，是美国任职时间最长的首席大法官。

马歇尔在政治上属于联邦主义者，主张加强中央集权。任国务卿期间，在外交上奉行中立政策，缓和英法两国的矛盾。任联邦最高法院首席大法官期间，创造了许多重要的司法先例。1803年审理的“马伯里诉麦迪逊案”，确立了由联邦最高法院对国会立法行使司法审查权的先例。在与激进州权主义斗争的过程中，先后作出了“马丁诉亨特之租户”（1816）、“麦卡洛克诉马里兰州”（1819）、“柯恩兄弟诉弗吉尼亚州”（1821）、“吉本斯诉奥格登”（1824）等经典判决。在“麦卡洛克诉马里兰州”的判决书中，马歇尔通过宽松地解释建国宪法，确认了建国之初经华盛顿总统认可的汉密尔顿政治路线，宣布国会根据宪法有权设立国家银行，并再次确认宪法的最终解释者为联邦最高法院而非各州。