生于安徽合肥，卒于上海。1889年赴德国学习军事。1896年入北洋陆军炮队任下级军官。1903年被袁世凯保荐为练兵处军令司正使，成为袁世凯扩编北洋军的重要帮手。1904年起先后任第三镇翼长，第四、六镇统制。1910年调任江北提督。武昌起义后任第二军总统，驰赴武汉镇压革命。1912年初，承袁世凯意旨电促清廷退位。3月被袁任为陆军总长。次年调兵镇压孙中山二次革命和白朗起义。1915年因不满袁世凯称帝，称病辞职。袁世凯死后成为皖系军阀首领，任国务总理兼陆军总长，执掌北京政府实权。1917年5月，由于坚持对德宣战，被黎元洪免职。随后，张勋复辟，段祺瑞趁机组织讨逆军，打败张勋，重掌北京政权。9月，派兵南下进攻孙中山广州护法军政府。此后为争夺北京统治权，与直系军阀明争暗斗数年。1920年7月，组成定国军，发动直皖战争，但以失败告终。1924年11月，被奉系张作霖及国民军首领冯玉祥推为临时执政。次年2月，不顾孙中山和全国人民的反对，坚持召集善后会议。1926年制造三一八惨案，镇压北京各界民众的反帝请愿。4月，被国民革命军驱逐下台，通电引退，蛰居天津租界，脱离政界。1933年移居上海。