Отец Голдмарка, Лео Гольдмарк, австрийский иммигрант, был близок к нью-йоркским музыкальным кругам, и Рубин с детских лет был окружён музыкой. В 1889—1891 гг. он учился в Венской консерватории у Роберта Фукса, Иоганна Непомука Фукса и Антона Доора, частным образом занимаясь также и у своего дяди, затем вернулся в Нью-Йорк и брал уроки у пианиста Рафаэля Йошеффи, а по прибытии в США Антонина Дворжака стал одним из его первых американских учеников в Национальной консерватории США.
С 1895 г. Голдмарк преподавал в музыкальном колледже в Колорадо-Спрингс. Здесь же им была написана симфоническая поэма «Гайавата», по произведению Генри Лонгфелло, с успехом исполненная впервые в 1900 г. в Бостоне. В 1905 г. он вернулся в Нью-Йорк, преподавал частным образом, концертировал по США и Канаде с концертами и лекциями о музыке, написал фортепианный (посвящён Йошеффи) и струнный квартеты, фортепианное трио, скрипичную сонату, Негритянскую рапсодию для оркестра. С 1924 г. руководил отделением композиции в Джульярдской школе.
Голдмарк был одним из педагогов, через которых в США происходила передача творческого опыта от европейской композиторской традиции к молодой американской. Среди его учеников были, в частности, Джордж Гершвин, Аарон Копленд и другие крупнейшие музыканты.
