Родился в 1801 году. В военную службу вступил в 1815 году в Дворянский полк, где был зачислен в кавалерийский эскадрон. В 1820 году выпущен прапорщиком в 13-ю конно-артиллерийскую роту.
В 1829 году был зачислен в Гвардейскую конную артиллерию, в рядах которой принял участие в подавлении Польского восстания 1831 года; принимал участие в сражении при Остроленке и штурме Варшавы. В 1834 году произведён в капитаны.
Произведённый в 1836 году в полковники Рольцберг был назначен старшим адъютантом в штаб управления генерал-фельдцейхмейстера и через год получил в командование 1-ю конно-артиллерийскую бригаду. 6 декабря 1841 года он за беспорочную выслугу 25 лет в офицерских чинах был награждён орденом св. Георгия 4-й степени (№ 6410 по кавалерскому списку Григоровича—Степанова).
В 1845 году Рольцберг был назначен начальником 1, 2, 3 и 4-го кавалерийских округов Украинских военных поселений и в 1846 году был произведён в генерал-майоры. С 1848 по 1854 год он был начальником штаба 1-го резервного кавалерийского корпуса.
С началом Восточной войны Рольцберг был назначен комендантом Одессы и блестяще проявил себя во время отражения бомбардировки города англо-французским флотом — благодаря его распорядительности множество военных припасов было своевременно эвакуировано и спасено от уничтожения, а обустроенные им береговые батареи смогли оказать существенное сопротивление союзникам. За отличие в 1856 году был произведён в генерал-лейтенанты.
В последние годы жизни он состоял по армейской кавалерии и в запасных войсках. Скончался в Одессе 21 ноября 1868 года.
