生于大阪，卒于奈良。1924年毕业于东京美术专科学校雕刻专业，同年以作品《老人》参加第5届帝国雕刻展。曾学习过圆号及作曲。1927年赴朝鲜半岛寻访古迹，在对古代美术进行调查的过程中，对古代音乐遗迹产生浓厚兴趣，开始亚洲传统音乐的研究。1928年结识郭沫若，在郭沫若的鼓励下，1935年完成学术专著《隋唐燕乐调的研究》，次年由郭沫若译成中文于上海出版。其后，致力于中国古代乐谱的研究，对解译敦煌琵琶谱与五弦琵琶谱等做出历史性的贡献。同时对中国与日本古代乐器及其音律进行深入考证与研究，写出《东亚乐器考》等专著与论文。1948年、1952年与岸边成雄、泷辽一及芝佑泰一起两次对正仓院所藏古代乐器，其中包括唐传乐器进行考察，并写出详细的调查报告。他开创了复制古代乐器先河，在他的创意与主持下，以正仓院古代筝的残片为基础，将奈良时代的唐传木画筝于1952年复原问世。1951～1965年任奈良学艺大学教授。1959年及其后任日本东洋音乐学会关西支部长、副会长。由于他在东洋古代乐器与音律研究方面的贡献，曾先后获得朝日文化奖与奈良县文化奖。主要著作有《隋唐燕乐调研究》（郭沫若译，1936）、《明乐八调研究》（张虔译，1957）、《敦煌琵琶谱的解读研究》（潘怀素译，1957）、《东亚乐器考》（欧阳予倩组织翻译，1962）、《唐代的乐器》（与岸边成雄合著，1968）。其一些重要论文收入《正仓院乐器的研究》（1964）、《雅乐——古乐谱的解读》（1969）等著作。此外，他还曾监修与解说《天平与平安时代的音乐》唱片集（1965）。其详细年谱与业绩刊于日本《东洋音乐研究》第24、25号（1968）。


　　林谦三的研究与著作在中国广为人知，他的一些主要著作和论文都曾译成中文在中国出版，对中国音乐学界产生广泛而深远的影响。