Окончил Уитонский колледж в Иллинойсе, а затем Джульярдскую школу, класс дирижирования Жана Мореля. В 1972 году дебютировал на нью-йоркской оперной сцене, в 1974 году заменил заболевшего Рафаэля Кубелика за пультом Метрополитен-опера в опере Гектора Берлиоза «Троянцы»; это выступление принесло Нельсону первую известность и приглашения в Европу, где он в скором времени дирижировал «Троянцами» же в Женеве и другой берлиозовской оперой «Беатриса и Бенедикт» — на Берлиозовском фестивале в Лионе.
В 1976—1987 годах возглавлял Индианаполисский симфонический оркестр, записав с ним, в частности, альбом произведений Чарлза Мартина Лефлера. В 1985—1991 — один из руководителей летнего оперного фестиваля в Сент-Луисе, в 1983—1990 — музыкальный руководитель Карамурского фестиваля в городке Бедфорд недалеко от Нью-Йорка. В 1994 году осуществлённая под руководством Нельсона запись оперы Георга Фридриха Генделя «Семела» была удостоена премии «Грэмми» как лучшая оперная запись года.
В 1998—2009 годах возглавлял Оркестровый ансамбль Парижа; в 2004 году оркестр под его управлением был удостоен французской премии «Виктуар де ля мюзик» как лучший инструментальный ансамбль года. После отставки Нельсон был объявлен почётным дирижёром оркестра.
