Включен в состав национальной сборной в 17-летнем возрасте. Первым крупным международным стартом в карьере стал чемпионат мира в Перте 1991 года, дебют был успешным, 19-летний пловец стал чемпионом мира на дистанции 100 метров брассом, установив при этом новый мировой рекорд 1.01,45. На дистанции вдвое длиннее Рожа стал вторым, уступив только американцу Майку Барроумэну. В том же году на европейском первенстве в Афинах Норберт собрал полный комплект медалей, выиграв золото на 100 м брассом, серебро на 200 м брассом и бронзу в составе венгерской комбинированной эстафеты. На стометровке он превзошёл собственный же мировой рекорд полугодичной давности - 1.01,29. Рекорд продержался два года, пока не был побит соотечественником Рожи Кароем Гюттлером.
На Олимпийских играх дебютировал в Барселоне в 1992 году, где на обеих дистанциях брассом завоевал серебро. Плыл этап брассом в комбинированной эстафете, которая стала шестой. В 1994 году на чемпионате мира в Риме Рожа стал двукратным лауреатом, выиграв оба старта брассом.
На Играх в Атланте 1996 года Рожа завоевал олимпийское золото на 200-метровой дистанции. После Игр в Атланте его результаты начали снижаться, на мировом первенстве 1998 года Рожа завоевал лишь две бронзы. После Олимпиады 2000 года в Сиднее, где он не смог попасть в финал на 200-метровке, Рожа завершил карьеру.
После ухода из спорта страдал тяжёлыми депрессиями, злоупотреблял алкоголем и наркотиками. В мае 2007 года пытался покончить жизнь самоубийством, но был спасён врачами.
