生于萨尔茨堡，卒于萨尔茨堡附近的阿尼弗。其父恩斯特是医务官员，业余演奏单簧管。卡拉扬幼年学习钢琴，5岁登台演奏。后进入萨尔茨堡莫扎特音乐学院学习钢琴和指挥，师从该院院长B.鲍姆加特纳。到维也纳后，师从F.沙尔克学习指挥。1928年12月17日首次在维也纳指挥学生乐队。1929年首次受聘担任乌尔姆市立剧院指挥。1934年受聘担任乌尔姆市立剧院音乐总监。以后到亚琛，应聘指挥歌剧和交响乐演出共5年。1936年在维也纳国家剧院指挥演出W.R.瓦格纳的音乐戏剧《特里斯坦与伊索尔德》。1937年指挥柏林爱乐乐团演出了一场音乐会。他指挥时完全背谱，并多半闭眼指挥，其中包括指挥瓦格纳的全套歌剧《尼伯龙根的指环》。第二次世界大战期间一直在柏林指挥。1933年4月9日，卡拉扬在奥地利国家社会党萨尔茨堡办事处登记注册，一个月后在乌尔姆加入德国纳粹党。战后被盟国占领军审查并被禁止指挥演出，直到1946年才被允许重新指挥。此后他与英国哥伦比亚唱片公司和维也纳爱乐乐团合作录制唱片。1948年应邀担任维也纳音乐之友协会艺术指导，还被任命为维也纳交响乐团音乐指导。1951年在拜罗伊特音乐节上指挥了全套歌剧《尼伯龙根的指环》，并大胆改变了瓦格纳的乐队座位排列。1952年在拜罗伊特指挥了《特里斯坦与伊索尔德》的新演出本。此后还应聘担任伦敦爱乐乐团音乐指导。1954年W.富特文格勒去世以后，他接任维也纳爱乐乐团首席指挥。


　　卡拉扬是一位能力极高的指挥家，无论对歌剧或是音乐会演出都是如此。他指挥曲目广泛，有人甚至把他的时代称为“卡拉扬时代”，可见影响之大。但也有不少批评意见，认为他过于追求效果、表现外在，尤其是在他的晚年。录有大量唱片，仅仅为德国唱片公司就录制了3套完整的贝多芬交响曲唱片。但有些评论认为其在20世纪60年代录制的第一套反而更好。1979年曾率柏林爱乐乐团来中国演出。