Единственный сын короля Вильгельма I от третьего брака с вюртембергской принцессой Паулиной Терезой. Получил образование в Тюбингенском и Берлинском университетах. В 1846 сочетался браком с великой княжной Ольгой Николаевной. Детей не имел, обвинялся в гомосексуальных связях. В 1870 Карл и Ольга взяли на воспитание Веру Константиновну, племянницу Ольги, в 1874 году она вышла замуж за вюртембергского герцога Евгения.
Наследовал своему отцу в 1864 году и, следуя его принципам, в 1866 году примкнул к противникам Пруссии. Позже он добровольно встал на сторону национальной политики, во время франко-прусской войны подчинил свои войска прусскому главнокомандующему и согласился на создание Германской империи. Внутри страны Карл правил в постоянном согласии с ландтагом.
Преемником Карла стал его племянник, сын его сестры, и одновременно ближайший родственник по мужской линии Вильгельм II.
