Яков Ерман родился в семье торговца. Вступил в РСДРП(б) в 1915 году во время учёбы в Петроградском политехническом институте. Участвовал в Февральской революции.
В мае 1917 года стал членом Царицынского комитета РСДРП(б) и исполнительного бюро Царицынского совета. В июле 1917 года избран председателем Царицынской городской думы, с октября 1917 года — председатель Царицынского совета. Одновременно с марта 1918 года был комиссаром финансов исполнительного комитета.
На первом Всероссийском съезде Советов избран кандидатом в члены ВЦИК, на втором съезде — членом ВЦИК.
Возвращаясь на пароходе из Москвы после пятого съезда Советов, был смертельно ранен контрреволюционерами (по другой версии — убит случайной пулей в ходе конфликта на пристани).
Центральный район города Волгограда носил имя Ерманский со 2 апреля 1935 года по 4 февраля 1948 года.
В Волгограде в честь Якова Ермана названа мебельная фабрика и железнодорожная платформа.
