Происходил из дворян Санкт-Петербургской губернии швейцарского происхождения, младший сын генерал-лейтенанта Густава Родионовича Гербеля, внук генерал-поручика Родиона Николаевича, родился 3 июля 1788 г. и в 1804 году выпущен из Артиллерийского кадетского корпуса подпоручиком.
В 1805 г., во время первой войны с Наполеоном, находился в десантном корпусе в Померании, а в 1806—1807 гг., во время второй войны, был ранен при Прейсиш-Эйлау и награждён золотым крестом.
В Отечественную войну 1812 г. принимал участие в делах с корпусом Макдональда и награжден орденом св. Анны 4-й степени. В Заграничной кампании 1813 г. участвовал в делах при Тильзите, Розенберге, Данциге, Бауцене, Торгау, Кульме, Лейпциге и в блокаде Гамбурга, по сдаче которого возвратился в Россию. Наградой за эту войну были чины штабс-капитана и капитана и ордена св. Анны 2-й степени, св. Владимира 4-й степени с бантом и прусский «Пур ле мерит».
В 1817 г. произведён в подполковники, в 1820 г. — в полковники с переводом в гвардейскую конную артиллерию. В 1823 г. назначен начальником этой артиллерии. 14 декабря 1825 г., во время восстания декабристов, находился в составе правительственных войск и за отличие пожалован 15 января 1826 г. во флигель-адъютанты.
В 1828 г. принял участие в турецкой войне и был в делах во время осады Варны, при преследовании турок за реку Камчик и других. За отличие при Варне награждён 29 сентября 1828 г. чином генерал-майора.
По окончании войны назначен начальником резервной артиллерии действующей армии, состоявшей при гвардейском корпусе, и за устройство ее награждён орденом св. Анны 1-й степени.
В 1831 г., во время войны с польскими мятежниками, участвовал в сражении при Старом Якаце (командовал здесь артиллерией авангарда гвардейского корпуса), Рудках, Тыкочине, Жолтках (командовал артиллерией авангарда и награжден золотой саблей с алмазами), Пясках. При Остроленке он командовал всей артиллерией, находившейся с правой стороны города, близ левого берега Нарева, огнём её наносил сильный урон неприятелю и тем способствовал переправе наших войск через Нарев, удержанию этой переправы и отбитию трех орудий. 22 августа награждён орденом св. Георгия 3-й степени (№ 434)
По присоединении гвардейского корпуса к главной армии, участвовал во всех делах от движения к Плоцку до штурма Варшавы и в преследовании армии мятежников до прусской границы. В том же году ему была пожалованы императорская корона к ордену св. Анны 1-й степени и золотая сабля с надписью «За храбрость».
В 1834 г. назначен начальником 1-й драгунской дивизии и награждён орденом св. Владимира 2-й степени, в 1837 г. — чином генерал-лейтенанта и орденом Белого Орла. 30 августа 1839 г. пожалован в генерал-адъютанты. В 1842 г. уволен по болезни от командования дивизией.
В 1849 г., с открытием Венгерской кампании, вернулся на службу и командуя авангардом 3-го пехотного корпуса, участвовал в сражениях при с. Дуко и Вайцене, в преследовании Гёргея к Ретшагу и в делах при этом местечке, при Тисса-Фюред и Дебречине и при сдаче Гёргея; за отличие награждён орденами св. Александра Невского и австрийским Леопольда большого креста.
Скончался в Санкт-Петербурге 9 июля 1852 г., погребён на Свято-Троицком кладбище в Старом Петергофе.
Один из сыновей его, Даниил Карлович (1819—1873) был генерал-лейтенантом, а другой, Сергей Карлович (родился в 1821 г.), числясь ротмистром лейб-гвардии Уланского полка, участвовал в Крымской войне и был ранен при обороне Севастополя 25 октября 1854 г., умер от ран 12 ноября того же года, третий сын — Михаил (1835—1861); тажке у него была дочь Александра Карловна (?—1853), которая была замужем за генерал-майором Э. Ф. Зенгером.
