Сын сборщика налогов из Бранденбурга, Граун вырос в музыкальном окружении: композиторами стали и два его старших брата, Август Фридрих Граун и Иоганн Готлиб Граун. Ребёнком Карл Генрих пел в хоре дрезденской церкви Кройцкирхе (), затем учился композиции у Иоганна Христофа Шмидта. Одновременно в 1718—1719 гг. Граун учился в Дрезденском университете. В Дрездене были написаны два первых цикла кантат Грауна (не сохранились).
В 1724 г. Граун получил место придворного певца (тенора) при дворе герцога Брауншвейг-Люнебургского Августа Вильгельма. В Брауншвейге под патронатом капельмейстера Георга Каспара Шурмана он начал пробовать свои силы как дирижёр и в 1731 году занял должность вице-капельмейстера. В 1733 году была поставлена его первая опера.
В 1735 г. Граун перебрался в Берлин и поступил на службу в капеллу крон-принца Пруссии Фридриха, будущего короля Фридриха II. По восшествии Фридриха на престол в 1740 г. Граун занял пост его капельмейстера, на котором оставался до конца жизни. 7 декабря 1742 года оперой Грауна «Цезарь и Клеопатра» открылся королевский оперный театр Unter den Linden.
В общей сложности Грауном написано 28 опер, в том числе крупномасштабных, для карнавала или по случаю дня рождения царствующих особ. Сверх того, ему принадлежит ряд духовных сочинений, в том числе страстная оратория «Смерть Иисуса» (нем. Der Tod Jesu).
