Родился в семье пастора. Учился в Лейпцигской консерватории, в том числе у Гюнтера Рамина. В 1946 стал хормейстером дрезденской церкви Христа, а в 1949 г. — органистом в церкви Святого Фомы в Лейпциге. В 1950 г. разделил с Амадеусом Веберзинке первую премию в органной номинации Международного конкурса имени Баха в Лейпциге. В 1951 Карл Рихтер стал кантором в церкви Святого Марка в Мюнхене. В то же время он преподавал в Высшей музыкальной школе Мюнхена и в 1956 году стал профессором.
В 1951 Рихтер стал руководителем «Кружка Генриха Шютца», переименовав его в 1954 г. в Мюнхенский баховский хор. В 1953 г. был основан Мюнхенский баховский оркестр. Будучи его руководителем, Карл Рихтер быстро стал одним из наиболее признанных исполнителей Баха. В 1960-70 годах он осуществил со своим хором и оркестром много записей, гастролировал в Европе, США, СССР, Японии. Помимо Баха исполнялись произведения Шютца, Генделя, Моцарта, Бетховена, Брамса, Регера и др. композиторов.
Исполнение Карлом Рихтером ранней музыки было далеко от аутентичного направления, приобретавшего всё больше сторонников. Он использовал современные музыкальные инструменты и достаточно большие хор и оркестр. Для его интерпретаций характерна экспрессия, связанная с романтической традицией.
