Окончил Будапештскую консерваторию, учился, в частности, у Золтана Кодаи и Белы Бартока. В 24-летнем возрасте стал музыкальным руководителем Дебреценской оперы. В 1954 г. поступил дирижёром в Венгерский государственный симфонический оркестр. После Венгерских событий 1956 года покинул Венгрию и обосновался в Вене, где стал одним из создателей и первым главным дирижёром оркестра «Philharmonia Hungarica», состоявшего из венгерских музыкантов, не пожелавших возвращаться в Венгрию после подавления Венгерского восстания советскими войсками.
В 1961 г. Рожняи переехал в США и получил американское гражданство. В 1962 г. он стал помощником дирижёра в Нью-Йоркском филармоническом оркестре (под управлением Леонарда Бернстайна). В 1963 г. Рожняи возглавил Кливлендский филармонический оркестр, в 1964 г. — симфонический оркестр в городе Ютика. В 1967—1971 гг. Рожняи руководил Симфоническим оркестром Сан-Диего, возглавляя одновременно отделение музыки местного университета. В 1978—1984 гг. Рожняи был главным дирижёром Ноксвиллского симфонического оркестра.
