Учился первоначально у известного корнетиста Джалса Леви, затем в Национальной консерватории США в тот период (в начале 1890-х гг.), когда ею руководил Антонин Дворжак, а также у своего дяди, дирижёра Наана Франко. В 1900—1909 гг. корнетист оркестра Метрополитен Опера. В 1911 г. организовал и возглавил Нью-Йоркский военный оркестр, преобразованный в 1918 г. в Оркестр Голдмена, которым и руководил до самой смерти.
Голдмен работал над превращением духового оркестра (в частности, собственного) в полноценный состав, реализующий серьёзные художественные задачи. Он инициировал или напрямую заказывал произведения для этого состава ведущих американских, а затем и зарубежных композиторов — Перси Грейнджера, Густава Холста, Отторино Респиги, Альбера Русселя и др. Переложения Голдмена для духового оркестра также затрагивали самую серьёзную музыку (ему, например, принадлежит аранжировка «Картинок с выставки» Мусоргского, названная Леонардом Бернстайном ма?стерской). В то же время Оркестр Голдмена пользовался исключительной популярностью, так на концерте, открывавшем летний сезон на открытой сцене нью-йоркского Центрального парка в 1923 г., собралось около 30 000 слушателей. Собственные сочинения Голдмена носили лёгкий, преимущественно маршевый характер, наиболее известны среди них марши «В аллее» (англ. On the Mall; 1924) и «Куранты свободы» (англ. Chimes of Liberty; 1937).
Голдмен пользовался высоким профессиональным авторитетом в своей среде и в 1930 г. был избран первым президентом Американской ассоциации дирижёров духовых оркестров.
Учеником и продолжателем Голдмена был его сын Ричард Фрэнко Голдмен, возглавивший оркестр Голдмена после смерти отца.
