Окончил Берлинскую Высшую школу музыки у Вольдемара Баргиля (композиция) и Роберта Хаусмана (виолончель). В 1882—1891 гг. играл на виолончели в придворном оркестре, затем в течение года руководил курортным оркестром в Баден-Бадене. После этого вернулся в Берлин и посвятил оставшуюся часть жизни композиции и преподаванию. Был профессором Берлинской Высшей школы музыки, заведовал кафедрой теории музыки. Среди учеников Коха, в частности, Борис Блахер, Пауль Клецки, Герберт Бруст и Харальд Северуд.
Коху принадлежат опера «Мельница» (нем. Die H?gelm?hle; 1917) под одноимённому роману Карла Адольфа Гьеллерупа, оратория «Всемирный потоп» (нем. Die S?ndflut; 1910), две симфонии, струнное трио, фортепианное трио «Лесная идиллия» (нем. Wald-Idyll; 1902), соната для скрипки и фортепиано и др.
