Изучал игру на фортепиано под руководством Анны Ассмайр, затем Эжена д’Альбера и композицию у Франца Кренна, Ойзебиуса Мандычевского и Генриха фон Херцогенберга, был близок к кругу Иоганнеса Брамса. В 1894—1895 гг. преподавал в Страсбурге, затем был дирижёром-ассистентом на Байрёйтском фестивале, в 1901—1905 гг. возглавлял Варшавский филармонический оркестр. С 1908 г. преподавал в консерватории Венского Общества друзей музыки, с 1924 г. профессор Венской Высшей школы музыки.
Значительную часть композиторского наследия Прохазки составляют хоровые сочинения, в том числе оратории «Торжество весны» (нем. Fr?hlingsfeier) и «Из книги Иова» (обе 1913), навеянные Первой мировой войной «Неприятель» (нем. Der Feind; 1915) и «Пехота» (нем. Infanterie; 1917). Единственная опера Прохазки, «Мадлен Гимар», о судьбе знаменитой французской танцовщицы Гимар, была опубликована и поставлена посмертно в 1930 году.
В память о Прохазке в Вене в 1959 г. названа площадь (нем. Carl-Prohaska-Platz).
