В 1843 г. поступил в самый первый набор Лейпцигской консерватории. Учился игре на скрипке у Фердинанда Давида и композиции у Феликса Мендельсона и Морица Гауптмана. По окончании консерватории на протяжении 30 лет играл в Оркестре Гевандхауса, а с 1848 г. и сам преподавал.
Под редакцией Хермана вышли сочинения множества авторов. Кроме того, он был широко известен как аранжировщик. Среди самых популярных переложений Хермана — «Песни без слов» Мендельсона для скрипки и фортепиано. Для своего основного инструмента, альта, Херман перекладывал, например, фортепианные пьесы Ференца Листа.
