Учился в Венской академии музыки у Фердинанда Лёве и Йозефа Маркса, брал также частные уроки у Франца Шмидта (в дальнейшем Кабаста дирижировал премьерой одного из самых известных произведений Шмидта — оратории «Книга за семью печатями», 1938, — а также Четвёртой симфонией, которую композитор посвятил Кабасте). Руководил небольшими оркестрами в Винер-Нойштадте и Бадене, с 1926 г. генеральмузикдиректор Граца. С 1931 г. преподавал дирижирование в Венской академии музыки, в 1934 г. также возглавил Венский симфонический оркестр. После аншлюсса Кабаста был назначен музыкальным руководителем Мюнхенского филармонического оркестра; одновременно с этим он вступил в НСДАП (как считается, это было поставлено условием его назначения). Концертная активность Кабасты во главе этого коллектива прекратилась в 1944 г. после того, как основная концертная площадка оркестра была разрушена бомбардировкой союзников. По окончании Второй мировой войны американская администрация потребовала отстранения и увольнения Кабасты. После ряда отчаянных писем с просьбами о возвращении к концертной деятельности Кабаста покончил с собой.
Кабаста был учеником ученика Антона Брукнера и мастером брукнеровского репертуара. Записи Кабасты сравнительно немногочисленны, среди них выделяется, в частности, Девятая симфония Антонина Дворжака «Из Нового света», записанная в Мюнхене 14 июля 1944 года, во время последнего концерта Мюнхенского филармонического оркестра под управлением Кабасты; по иронии судьбы, эта запись долгое время приписывалась Вильгельму Фуртвенглеру.
