Молодые годы
Рудольф был сыном Альбрехта IV, графа Габсбурга, и Хедвиги Кибургской. В 1239 году, после смерти отца, Рудольф унаследовал родовые владения Габсбургов в Эльзасе и Аргау в северной Швейцарии. Брак с Гертрудой Гогенберг, наследницей обширного графства в центральной Швабии, сделал Рудольфа I одним из крупнейших правителей юго-западной Германии.
В молодости Рудольф I был активным сторонником императора Фридриха II и его сына Конрада IV, что принесло ему дополнительные земельные владения в Швабии. В 1254 году за поддержку Конрада IV Рудольф Габсбург был отлучён от церкви папой римским Иннокентием IV.
После прекращения династии Гогенштауфенов на имперском престоле, в Германии установился период междуцарствия, характеризующийся крайним падением центральной власти и постоянными военными конфликтами между различными претендентами на престол. Ситуация анархии позволила Рудольфу Габсбургу увеличить свои владения и влияние в стране. По смерти последнего графа Кибургского в 1264 году Рудольф унаследовал его владения, борьба с епископами Страсбурга и Базеля также завершилась удачно для Габсбурга. В результате к началу 1270-х годов Рудольф стал самым влиятельным правителем в Швабии, хотя престол этого герцогства ему получить не удалось.
Король Германии
После смерти в 1272 году германского короля Ричарда Корнуольского, 1 октября 1273 года во Франкфурте собравшиеся здесь князья империи выбрали Рудольфа Габсбурга новым королём Германии. Избрание Рудольфа во многом состоялось благодаря его поддержке Фридрихом III Гогенцоллерном, бургграфом Нюренберга, а также герцогами Саксен-Виттенбергским Альбрехтом II и Баварским Людвигом II, за которых были выданы дочери Рудольфа. Главными соперниками Габсбурга на выборах короля были Пржемысл Оттокар II, король Чехии, и Фридрих I, маркграф Мейссена.
24 октября 1273 года Рудольф I был коронован в Ахене. С самого начала своего правления в качестве короля Германии, Рудольф Габсбург занялся укреплением центральной власти после десятилетий анархии. Ему удалось завоевать признание папы римского Григория X ценой отказа от претензий германских королей на власть в Италии и престол Сицилии. Он также обещал организовать новый крестовый поход. Рудольф I так никогда и не короновался императором Священной Римской империи, предпочитая сотрудничество с папой итальянским авантюрам.
Несмотря на то, что выбравшие Рудольфа князья надеялись на его покорность, он начал проводить собственную политику в империи, целью которой стало укрепление стабильности и защита имперского имущества. В ноябре 1274 года в Нюрнберге был созван рейхстаг, в то время ещё не имевший чёткой формы и представлявший собой собрание представителей земель, которые принимали участие в обсуждениях, но принятие решений оставалось за императором. На этом рейхстаге, предварительно заручившись поддержкой князей, Рудольф изложил свою программу «требования возврата», предполагающую возврат в имперскую собственность всего имущества и прав, узурпированных или уступленных князьям с момента низложения Фридриха II в 1245 году. Только при согласии короля и курфюрстов и после возврата они могли быть получены обратно. Более поздние заявления Рудольфа о том что, любой акт дарения имущества не будет иметь силы без согласия большинства князей, свидетельствовали об укрепляющемся императорско-княжеском дуализме Империи.