Окончил Венский университет (1906) как музыковед, ученик Гвидо Адлера. В 1904—1908 гг. частным образом изучал композицию под руководством Арнольда Шёнберга. Работал дирижёром в Трире и Габлонце, в 1911—1914 гг. капельмейстер Немецкой оперы в Праге.
Известен преимущественно как автор вокальных сочинений (в том числе на стихи Гёльдерлина, Стефана Георге, Теодора Шторма), из которых более ранние выказывают восхищение Густавом Малером, позднейшие смещаются в сторону более радикального авангарда. Премьера нескольких песен Хорвица была включена 31 июля 1921 года в первый концерт Дней новой музыки в Донауэшингене.
