Ученик Эрнста Моравеца и Франца Самохила. Сын скрипача, игравшего в Венском филармоническом оркестре, Веллер был принят в этот прославленный коллектив уже в 17-летнем возрасте, а в 22 года разделил с Вилли Босковски пост его концертмейстера, оставаясь на этой позиции до 1972 г. Одновременно в 1958—1969 гг. Веллер руководил собственным струнным квартетом. В то же время Веллер начал брать уроки дирижирования у Йозефа Крипса и в 1966 г. дебютировал за дирижёрским пультом. С 1969 г. Веллер регулярно дирижировал оркестром в обоих главных венских оперных театрах. В 1971—1972 гг. Веллер занимал пост генеральмузикдиректора Дуйсбурга, затем возглавлял ряд европейских оркестров: Тонкюнстлероркестр (1975—1977), Ливерпульский филармонический оркестр (1977—1980), Королевский филармонический оркестр (1980—1985), Шотландский национальный оркестр (1991—1996); на последнем посту Веллер завоевал такую репутацию, что Банк Шотландии поместил его изображение на специальном выпуске банкноты в 50 фунтов стерлингов. С 1994 г. Веллер руководил также Базельским симфоническим оркестром, а в 2007 г. стал главным дирижёром Национального оркестра Бельгии.
Среди заметных записей Веллера-дирижёра — Первая и Девятая симфонии Дмитрия Шостаковича с Оркестром романской Швейцарии, симфонии Сергея Прокофьева с Лондонским симфоническим и Лондонским филармоническим. В то же время Веллер считается, прежде всего, специалистом по Моцарту и Бетховену; помимо прочего, Веллер с Ливерпульским филармоническим оркестром впервые исполнил в 1988 г. так называемую Десятую симфонию Бетховена — 15-минутную композицию, реконструированную на основе черновиков Бетховена шотландским музыковедом Барри Купером.
