Учился в зальцбургском Моцартеуме, затем в Милане. Дебютировал в 1937 г. в Базеле. В 1939 г. стал, вместе с Марией Штадер, лауреатом первой премии в вокальной номинации новосозданного Международного конкурса исполнителей в Женеве. Выступал на базельской сцене до 1951 года. В 1951—1956 гг. солист Немецкой оперы на Рейне, в 1956—1958 гг. — Штутгартской оперы.
Участвовал в ряде заметных записей 1950-х — 1960-х гг. Среди них две записи «Севильского цирюльника» (партия Бартоло): в 1957 году (на итальянском языке, с участием Марии Каллас и Тито Гобби) и в 1965 г. (на немецком языке, с участием Петера Шрайера и Германа Прея). Редко исполняемая опера Ферруччо Бузони «Арлекин» с участием Оллендорфа была исполнена и записана в 1956 г. на Глайндборнском фестивале.
