Сын выходцев из Австрии. Окончил Джульярдскую школу как трубач, до 1973 г. был первой трубой Нью-Йоркского филармонического оркестра. Однако уже с 1966 г. Шварц начал дирижировать. С 1985 г. возглавляет Сиэтлский симфонический оркестр, одновременно в 2001—2006 гг. был главным дирижёром Ливерпульского филармонического оркестра. Руководил также нью-йоркским фестивалем «Главным образом Моцарт» (англ. Mostly Mozart Festival; 1982—2001), рядом камерных оркестров.
Шварц наиболее известен своей деятельностью по пропаганде современной американской музыки. Он также записал все симфонии Густава Малера с Ливерпульским оркестром.
Лауреат Премии Дитсона (1989) — старейшей американской премии для дирижёров.
