В детстве занимался под руководством Бернхарда Ромберга, затем учился в Дрездене у Фридриха Августа Куммера. Некоторое время был первой виолончелью Гамбургской оперы, затем в 1850—1862 гг. жил и работал в Праге. В качестве ансамблевого исполнителя принимал участие в премьере Фортепианного трио Бедржиха Сметаны Op. 15 3 декабря 1855 года (со скрипачом Антоном Бенневицем и автором в партии фортепиано). Преподавал в Пражской консерватории, где одним из его учеников был Давид Поппер, позднее посвятивший Гольтерману свой первый виолончельный концерт Op. 8. В 1862—1870 гг. первая виолончель Штутгартского придворного оркестра.
Приписываемые некоторыми источниками Юлиусу Гольтерману оригинальные композиции для виолончели в действительности принадлежат его однофамильцу Георгу Гольтерману.
