На первых своих Играх 1904 в Сент-Луисе Роуз стал чемпионом в толкании ядра, серебряным призёром в метании диска, бронзовым медалистом в метании молота и шестым в метании веса в 56 фунтов.
На Олимпиаде 1908 в Лондоне Роуз, который также был знаменосцем своей сборной во время церемонии открытия, защитил свой титул в толкании ядра. Он также выступал за свою команду в перетягивании каната, но они проиграли в четвертьфинале. Через год на соревнованиях в Сан-Франциско Роуз установил первый официальный мировой рекорд — 15,54 м — в толкании ядра, продержавшийся до 1928 года.
Во время Олимпийских игр 1912 в Стокгольме Роуз стал чемпионом в толкании ядра двумя руками (результаты с обоих рук суммировались) и занял второе место в толкании ядра одной рукой.
