Учился в Портленде у Эдуарда Хюрлимана, затем в Джульярдской школе у Эдуара Детье (скрипка), Бернарда Вагенара и Штефана Вольпе (композиция). В 1941 г. выиграл Наумбурговский конкурс молодых исполнителей и в качестве награды дебютировал с концертом в Нью-Йорке, после чего ушёл на армейскую службу.
В 1946 г. Манн возглавил созданный при Джульярдской школе Джульярдский струнный квартет и играл в нём первую скрипку до 1997 года, дав около 5000 концертов и получив в составе квартета четыре премии «Грэмми» (1966, 1972, 1978 и 1985 — за диски с музыкой Бартока, Дебюсси, Шёнберга и Бетховена соответственно). Как солист записал, в частности, все сонаты Бетховена (с пианистом Стивеном Хафом).
Собственные композиции Манна немногочисленны, однако Оркестровую фантазию исполнял Нью-Йоркский филармонический оркестр под управлением Димитриса Митропулоса, а премьера Дуэта для скрипки и фортепиано была дана Ицхаком Перлманом и Сэмюэлом Сандерсом в Карнеги-холле.
