Учился в Копенгагенской консерватории у Иоганна Христиана Гебауэра.
В 1884—1886 гг. придворный пианист в Баден-Бадене; к этому времени относится ставшая знаменитой (без имён авторов) ультрапатриотическая «Песня о Кайзере» (нем. Kaiserlied, на стихи Фридриха Юлиуса Бирбаума). Из более зрелого творчества Рюбнера наибольшей популярностью пользовался скрипичный концерт.
Концертировал как пианист. Сохранились ранние записи фортепианных переложений фрагментов из опер Вагнера в исполнении Рюбнера.
В 1904—1919 гг. возглавлял отделение музыки в Колумбийском университете.
