生于皮什佩克市（今吉尔吉斯斯坦比什凯克）一军医家庭。1904年加入俄国社会民主工党，成为职业革命家。参加过俄国1905年革命。曾数次被捕，流放西伯利亚多年。1915年逃离流放地，改名换姓潜入俄军，从事兵运工作。俄国十月社会主义革命时期，参与组织白俄罗斯武装起义和创建工农红军。苏俄内战和外国武装干涉时期，先后任东方面军第4集团军和南线集群司令、方面军司令，突厥斯坦方面军和南方面军司令，参加过粉碎A.V.高尔察克军队和P.N.弗兰格尔军队的斗争，指挥过布古鲁斯兰、别列别伊、乌法、阿克纠宾斯克、彼列科普─琼加尔等重要战役。善于集中兵力于主突方向和实施正面与翼侧相结合的突击，力求全歼敌有生力量。他率领南方面军击败弗兰格尔军队、解放克里木半岛的作战行动，被V.I.列宁誉为“红军史上最光辉的一页”。1922年任乌克兰共和国人民委员会副主席。1924年任苏联革命军事委员会副主席和陆海军副人民委员兼工农红军参谋长和军事学院院长。1925年初任苏联革命军事委员会主席、陆海军人民委员兼劳动国防委员会委员。1924～1925年主持苏联军队改革，创立精干常备军和地方民兵相结合的武装力量体制，将红军由550万人裁减到56.2万人。他根据第一次世界大战和苏俄内战的经验以及当时军事技术的发展水平，研究和解决了世界上第一个社会主义国家军事思想和国防建设的一系列重大理论问题，首次提出社会主义国家应创建统一的军事学说，论述了未来战争的性质和特点，阐述了人和武器在战争中的作用，强调对红军干部的培养等，为发展马克思列宁主义军事理论和建立苏联军事科学作出重大贡献（见伏龙芝的军事思想）。撰有《工农红军的改编》《统一的军事学说与红军》《未来战争的前线与后方》等200多篇军事著述。