Сын местного органиста. Учился в Дрездене, затем в Лейпцигском университете как филолог и одновременно в Лейпцигской консерватории как музыковед. С 1871 г. преподавал в Лейпцигской консерватории теорию музыки и другие дисциплины. В 1876 г. короткое время возглавлял театральный оркестр в Меце, предпринял поездки в Англию и Италию для музыковедческих разысканий, а затем на целое десятилетие (1877—1887) обосновался в Ростоке, где руководил городским оркестром. В 1887—1904 гг. Кречмар вновь работал в Лейпциге на должности университетского музикдиректора, с 1890 г. экстраординарный профессор; одновременно в 1888—1898 гг. он возглавлял один из городских хоров, а в 1890—1895 гг. и один из городских оркестров. В 1904 г. Кречмар перешёл в Университет Фридриха Вильгельма как полный профессор; в 1907—1922 гг. он возглавлял Институт церковной музыки. Одновременно в 1909—1920 гг. Кречмар был директором Берлинской Высшей школы музыки, сменив на этом посту Йозефа Иоахима; на этом посту он, в частности, пригласил Ванду Ландовскую открыть в школе класс клавесина и старинной музыки, что и было сделано в 1913 г.
Тремя основными музыковедческими сочинениями Кречмара являются «История оперы» (нем. Geschichte der Oper; 1919, русский перевод — Л.: Academia, 1925), «Введение в историю музыки» (нем. Einf?hrung in die Musikgeschichte; 1920) и первый том «Истории новой немецкой песни» (нем. Geschichte des neuen deutschen Liedes; 1911) с подзаголовком «От Альберта до Цельтера», который не был продолжен, но отчасти дополняется более ранними работами «Немецкая песня после Шумана» (нем. Das deutsche Lied seit Schumann) и «Немецкая песня после смерти Рихарда Вагнера» (нем. Das deutsche Lied seit dem Tode Rich. Wagners). До сегодняшнего дня Кречмар пользуется авторитетом «патриарха немецкого музыковедения», «знаменитого историка оперы», чей афоризм «Опера хороша, если музыка только служит, опера плоха, если музыка становится самостоятельной» требует внимания сегодняшних музыкантов. Помимо многих других книг и статей, Кречмару принадлежат оригинальные музыкальные произведения для органа, хоры и песни.
Высказывалось мнение, что Кречмар до некоторой степени послужил прототипом музыкального педагога Венделя Кречмара в романе Томаса Манна «Доктор Фаустус».
