Руководил различными хорами (в 1940—41 главный хормейстер Центрального ансамбля Военно-Морского Флота СССР и др.). Автор книги «О дирижировании хором» (1961); собрание работ Ольхова «Вопросы теории дирижёрской техники и обучения хоровых дирижёров» было издано в 1979 г. и затем дважды переиздано (1984, 1990) под названием «Теоретические основы дирижерской техники». В своих теоретических трудах развивал идеи о необходимости формализации языка дирижирования. Последователем идей К. Ольхова в музыкальной теории является О. И. Поляков.
Составил сборник избранных хоров Сергея Танеева.
Среди учеников Ольхова — В. В. Айдарова, А. Алексеев, М. Беляков, Е. Бражник, В. Васильев, В. Гончаров, Л. Ежов, В. Кожин, В. Комаров, М. Кукушкин, З. М. Массарский, П. Россоловский, Г. Терацуянц, У Ген-Ир, Л. Фулиди, М. Эпштейн, Ю. Хотеев.
