На Играх 1904 в Сент-Луисе Пилгрим участвовал в трёх дисциплинах. Он занял шестое место в командной гонке на 4 мили, и в итоге его команда стала лучшей, выиграв золотые медали. Также он принял участие в гонках на 400 и 800 м, но занял в них места ниже седьмого.
Через два года Пилгрим участвовал в неофициальных Олимпийских играх 1906 в Афинах. Он выиграл золотые медали на дистанциях 400 и 800 м, но формально эти медали медали не признаются Международным олимпийским комитетом, так как Игры проходили без его разрешения.
Ещё через два года Пилгрим соревновался на Олимпийских играх 1908 в Лондоне, но в своей единственной гонке на 400 м он остановился на четвертьфинале.
