Учился в Йельском и Гарвардском университетах, затем преподавал в Йельском университете английский язык и сценическое искусство (среди его учеников, в частности, был —Торнтон Уайлдер), руководил университетским экспериментальным театром-студией. Со студенческих лет будучи близким другом Коула Портера, Вулли был сорежиссёром нескольких мюзиклов Портера на Бродвее конца 1920-х — начала 1930-х гг. В 1936 г. 47-летний Вулли оставил преподавательскую карьеру и стал актёром, добившись за последующие 20 лет сценической деятельности значительного успеха и популярности.
Наиболее известные роли Вулли — заглавная роль в фильме «Крысолов» по роману Невила Шюта (1942, номинация на премию «Оскар») и одна из главных ролей в фильме «Человек, который пришёл к обеду» (1942, на основе мюзикла, в котором Вулли также играл). Вулли также был номинирован на «Оскар» за лучшую роль второго плана в фильме «С тех пор как, ты ушёл» (1944) и сыграл самого себя в сильно мистифицированном биографическом фильме о Портере «Ночь и день» (1946).
