В юности изучал церковную музыку, в 1989 г. окончил Норвежскую Высшую школу музыки по классу композиции Олава Антона Томмессена. Затем изучал дирижирование в Хельсинки в Академии Сибелиуса (окончил в 1994 г.) и считается в том числе специалистом по произведениям финского классика, хотя его трактовка музыки Сибелиуса в российском гастрольном концерте и вызвала неудовольствие критики. С другой стороны, с именем Гупты связывают работу над сочинениями ведущих композиторов конца XX века — Лютославского, Мессиана, Адамса, Лигети, Булеза, Гласса — с оркестрами Германии и Скандинавии.
С 2002 г. Гупта курирует фестиваль скандинавской музыки MAGMA в Берлине. В 2003—2006 гг. он возглавлял Оркестр Норвежского радио, с 2006 г. руководит оркестром в Кристиансанне.
