Сначала Сванберг участвовал в неофициальных Олимпийских играх 1906 в Афинах, на которых получил серебряные медали в беге на 5 миль и в марафоне. Однако соревнования прошли без согласия Международного олимпийского комитета, и поэтому награды считаются неформальными.
На Играх 1908 в Лондоне Сванберг участвовал в трёх беговых дисциплинах. Он выиграл бронзовую медаль в гонке на 5 миль, стал восьмым в марафоне, и занял шестую позицию в полуфинальной командной гонке на 3 мили, но его сборная не смогла в итоге пройти в финал.
