Сын офицера польской армии, происходил из польского дворянского рода немецкого происхождения (Герштенцвейг-Енчминские) и родился в 1790 г.
В 1805 г. поступил юнкером в гвардейский артиллерийский батальон и принял участие в первом походе против Наполеона. Произведённый в 1807 г. в подпоручики в Московскую (3-ю) резервную артиллерийскую бригаду, он участвовал в походе против Австрии 1809 года и в Отечественной войне 1812 года. За отличие в сражениях при Смоленске, Бородине и Малоярославце (здесь он был ранен и контужен, но остался в строю) Герштенцвейг был награждён орденами св. Анны 4-й степени и св. Владимира 4-й степени с бантом и чином поручика.
В мае 1813 г. он был переведён в гвардейскую конную артиллерию и с 1-й батареей участвовал в войне за освобождение Европы, причём был в семи сражениях и особенно отличился при Фер-Шампенуазе, за что получил золотую саблю с надписью «За храбрость» и прусский орден «Pour le m?rite».
В 1814 г. Герштенцвейг был назначен командиром полубатареи гвардейской конной артиллерии, которая входила в состав войск, бывших в Варшаве под начальством цесаревича Константина Павловича. Герштенцвейгу вменено было в обязанность всемерно заботиться о том, чтобы его полубатарея, составленная «из отличнейших господ офицеров, нижних чинов и лошадей», была «образцовой» и служила примером как для русских, так и для формируемых польских войск.
В декабре 1816 г. он был произведён в полковники и через несколько месяцев назначен командиром батареи гвардейской конной артиллерии, а в марте 1818 г. — командиром гвардейской лёгкой батареи № 3 и гвардейской пешей батарейной роты № 5. Конная батарея Герштенцвейга выделялась «правильными и быстрыми движениями», «искусством в учении» и поставленной в совершенстве стрельбой.
В 1821 г. он был назначен бригадным командиром гвардейской и гренадерской артиллерии Литовского корпуса, а в 1823 г. — начальником гвардейской артиллерии резервного корпуса войск, состоявших под начальством цесаревича.
Произведённый 27 апреля 1826 г. в генерал-майоры, Герштенцвейг 19 декабря 1829 г. получил орден св. Георгия 4-й степени за беспорочную выслугу 25 лет в офицерских чинах (№ 4319 по списку Григоровича—Степанова) и в том же году — орден св. Станислава 1-й степени. В следующем назначен дежурным генералом главного штаба цесаревича Константина Павловича.
Когда в Польше вспыхнуло восстание и цесаревич оставил Варшаву, Герштенцвейг 30 ноября привёл к нему шесть орудий из местечка Гуры и уговаривал его, как рассказывает Мохнацкий в своих «Записках», употребить артиллерию для усмирения города. Относясь к Герштенцвейгу с большим доверием, Цесаревич согласился было с ним, но затем взяло верх мнение адъютанта цесаревича, графа Владислава Замойского, доказывавшего, что удобный момент уже пропущен и картечь не в состоянии задержать хода революции.
В 1831 г. Герштенцвейг участвовал в военных действиях против польских мятежников и был награждён орденами: св. Анны 1-й степени — за сражение при деревне Игане и св. Владимира 2-й степени — за дело при местечке Рационж, где был контужен в шею. 22 марта 1831 г. он был награждён орденом св. Георгия 3-й степени (№ 423 по кавалерским спискам)
В течение польской войны Герштенцвейгу было поручено устройство переправы для армий у деревни Тырчин и обеспечение её, укрепление Ломжи, прикрытие отрядом правого фланга армии, открытие сообщений с отрядом генерала Ридигера и форсированное преследование неприятеля, устройство моста в районе Кальварии и других; за отличное исполнение этих поручений он был произведён 10 июня (по другим данным — 18 октября) в генерал-лейтенанты. Также он получил польский знак отличия за военное достоинство (Virtuti Militari) 2-й степени.
