Карман вырос в Венгрии, окончил в 1902 году Королевский технический университет в Будапеште, в 1908 году защитил докторскую диссертацию под руководством Людвига Прандтля в Гёттингене, где работал в последующие четыре года. В 1912—1930 гг. возглавлял Институт воздухоплавания при Аахенском университете, работая, в частности, над ранними моделями вертолёта.
В 1930 году принял приглашение Калифорнийского технологического института и стал директором его лаборатории воздухоплавания. В 1936 году он стоял у истоков компании Аэроджет (Aerojet), производившей ракетные двигатели. Начиная с середины 1940-х гг., занимался преимущественно проблемами астронавтики, принял участие в создании ряда исследовательских сообществ, в том числе Международной академии астронавтики (1960).
Основные труды Кармана связаны с аэродинамическими проблемами авиации и космонавтики. Им была рассчитана, а затем его именем названа линия Кармана — принятая Международной федерацией аэронавтики условная граница между земной атмосферой и космическим пространством.
Исследование Кармана о двигателях самолетов будущего, сделанное в 1944 году, считается классическим в области технологического прогнозирования. Особенность прогнозов фон Кармана состояла в том, что он не пытался предсказывать характер отдельных устройств, но изучал основные перспективные и ограничительные факторы, функциональные возможности и ключевые параметры систем, сосредоточивал внимание на оценке альтернативных комбинаций предполагаемых достижении науки и техники и старался вмещать свои прогнозы в чёткие 15—20-летние временные рамки.
По его инициативе в 1960 году основана Международная академия астронавтики — организация, объединяющая ведущих ученых и инженеров работающих в области космических исследований и Фон Кармановский институт гидродинамики в Синт-Генезиус-Роде (Бельгия) в 1956 году.
