С 1949 по 1972 годы был членом немецкого Бундестага, в котором служил заместителем лидера фракции ХДС/ХСС.
С 1950 по 1955 годы он возглавлял так называемый «пустой офис», официально отвечая за отношения с оккупационными войсками союзников, а в действительности под руководством канцлера Конрада Аденауэра ведя скрытую подготовку к восстановлению немецких вооруженных сил. В 1954 году противники перевооружения препятствовали его публичным выступлениям криком и шумом. После того как перевооружение вышло на официальный уровень, он стал первым послевоенным министром обороны Германии с 1955 по 1956 годы, а затем министром труда и общественных дел с 1957 по 1965 годы.
