Родился в Кабуле в семье армейского генерала. Предки Кармаля по линии отца были выходцами из индийского Кашмира, которые переехали в Кабул во времена, когда Кашмир принадлежал империи Дуррани. На новом месте они ассимилировались с таджикским сообществом Кабула. Его отец скрывал своё непуштунское происхождение и говорил только на пушту. Мать Кармаля была персиязычная пуштунка из племени Гильзаев. Настоящее имя его было Султан Хуссейн, которое он изменил на похожее, типично афганское имя. В Кабульском университете увлёкся идеями коммунизма. В 1965 вступил в Народно-демократическую партию Афганистана (НДПА). Возглавил фракцию «Парчам». В 1965—1973 был депутатом парламента страны.
После Саурской Революции 1978 стал заместителем председателя Революционного совета, но уже летом 1978 был смещён с этого поста и отправлен послом в Чехословакию. Осенью 1978 был обвинён в организации антиправительственного заговора и снят с должности посла. Остался в эмиграции.
После ввода сил Советской Армии в Афганистан в декабре 1979 стал генеральным секретарём ЦК НДПА, председателем Революционного совета и председателем Совета министров (последний пост занимал до 1981). 4 мая 1986 по решению 18-го пленума ЦК НДПА Б. Кармаль был освобождён «по состоянию здоровья» от обязанностей генерального секретаря ЦК партии при сохранении за ним членства в Политбюро. Смещение с должности было вызвано переменами в СССР, где к власти пришёл М. С. Горбачёв. В конце 1986 был снят и с поста председателя Революционного совета.
После ухода со всех постов был вынужден эмигрировать и проживал в Москве, в первые годы эмиграции — на даче в Серебряном Бору. Бабрак Кармаль пользовался большим уважением афганцев: до эмиграции во время первой после отставки демонстрации в Кабуле люди, проходя мимо трибуны, бросали цветы не новому партийному руководителю Наджибулле, а Кармалю; после заявлений Наджибуллы о «национальном примирении» и необходимости переговоров с контрреволюционерами армия была деморализована и недовольна столь резким и непонятным поворотом, губительным для революции и немыслимом при правлении Кармаля. Популярность Кармаля, ещё больше возросшая на фоне политики Наджибуллы, вызывала опасения советских руководителей, которые боялись возвращения Кармаля во власть, поэтому к Кармалю приставили охрану и строго контролировали его круг общения. Так продолжалось до конца правления М. С. Горбачёва. В последние годы жизни состояние здоровья Бабрака Кармаля резко ухудшилось (болезнь почек), он регулярно проходил курс лечения. Умер 3 декабря 1996 года в 1-й городской больнице города Москвы, похоронен в Афганистане, в Хайратоне.
