Уже во время обучения в школе и колледже Пауэлл участвовал в ряде экспедиций, в частности, по территории Висконсина и на реке Миссисипи. Принимал участие на стороне федеральных войск в гражданской войне в США, потеряв при этом правое предплечье, и окончил воинскую службу в звании майора.
Осуществив несколько путешествий в Скалистые горы, 24 мая 1869 г. он предпринял одну из своих наиболее выдающихся экспедиций. Она началась на Зелёной реке в штате Вайоминг, по которой Пауэлл и его спутники проплыли сначала до впадения её в реку Гранд (так в те времена обозначалась река Колорадо вверх по течению от слияния) близ современного города Моав в штате Юта. От слияния и далее река называлась Колорадо (испан. «цветная»), поскольку её мелкие притоки несли в себе красноватую взвесь из скалистых пород. Экспедиция проплыла по Колорадо через Гранд-Каньон в целом более 1500 км до устья реки Вирджин (впадает в озеро Мид).
Через два года экспедиция прошла вновь по тому же пути, с тем, чтобы осуществить нанесения на карту региона и провести научные исследования. Эта новая экспедиция продлилась 18 месяцев. Её результатыми, наряду с важными научными фактами, были первые фотографии каньона.
Пауэлл прославился не только как военный деятель, исследователь, картограф и писатель. Получивший самообразование, он стал профессором геологии, а с 1881 г. стал директором Федеральной геологической службы США (United States Geological Survey) и оставался в этой должности до 1894 года.
Помимо того, Пауэлл интересовался культурой коренных обитателей Америки, изучил несколько индейских языков, благодаря чему впоследствии он был в 1879 г. назначен директором только что образованного Бюро американской этнологии — федерального исследовательского института, изучавшего культуру и языки индейцев США.
Пауэлл дал названия многим местам, которые он исследовал: Грязный Дьявол (Dirty Devil), Глен-Каньон (Glen Canyon), Яркий Ангел (Bright Angel), Каньон Запустения (Desolation Canyon), Мраморный каньон (Marble Canyon), Пылающее ущелье (Flaming Gorge) и Водопады Лавы (Лава-Фолс, Lava Falls). В США его имя носят многочисленные улицы, места, горы, музей в г. Грин-Ривер и крупное озеро Пауэлл.
