Родился в 1815 г., происходил от древней фамилии ливонских рыцарей. Отец его Карл Иванович (1768?1831), известный деятель на поприще гражданского управления, ещё в турецкой войне 1809 г. состоял на военной службе, командуя полком, но вскоре перешёл на гражданскую и был назначен градоначальником города Тарнополя; в 1816 г. переведён губернатором в Кострому; в 1831 г., в чине тайного советника, причислен к министерству внутренних дел и был избран членом комитета, учрежденного для борьбы с холерою, одною из жертв которой пал сам. За заслуги отца, Александр Карлович воспитывался в Пажеском корпусе, откуда в 1833 г. был выпущен в Лейб-гвардии Измайловский полк; в 1836 г. поступил в Военную академию и в числе отличнейших был, по окончании курса, в 1838 г. зачислен в Генеральный штаб, на Кавказ.
Здесь, состоя при начальнике войск левого фланга Кавказской линии генерале Галафееве, участвовал во многих делах экспедиции и получил за отличие орден св. Анны 4-й степени с надписью «за храбрость».
В 1840 г. возвращён в Санкт-Петербург и назначен дивизионным квартирмейстером 3-й гвардейской пехотной дивизии; в 1844 г. был уже в чине капитана и в 1847 г. определен старшим адъютантом штаба главнокомандующего гвардейским и гренадерским корпусами. Венгерская кампания снова увлекла Баумгартена в действующую армию, в которую он перечислился в чине полковника в Черниговский пехотный полк.
В октябре 1849 г. он был назначен командиром Тобольского пехотного полка и отличился с ним в сражениях при д. Перед, на правом берегу р. Ваг, под Коморном и близ Темешвара. В Восточную войну 1853—1856 гг. Баумгартен оперировал со своим полком в пределах Малой Валахии и прославился геройским отражением 18 тысяч турок при Четати, за что был произведён в генерал-майоры и получил 20 апреля 1854 г. орден св. Георгия 3-й степени № 480
Вскоре он был назначен командиром 1-й бригады 10-й пехотной дивизии, вошедшей в состав Севастопольского гарнизона.
По окончании войны Баумгартен был зачислен по военно-учебному ведомству, a 21 ноября 1858 г. назначен начальником Николаевской академии генерального штаба и немало поработал, за трехлетнее пребывание в этой должности, над коренным преобразованием академии.
В 1861 г. он был произведён в генерал-лейтенанты и зачислен членом в военный совет, где состоял председателем главного госпитального и членом главного военно-учебного комитетов.
17 апреля 1874 г. Баумгартен был определён генерал-адъютантом и, год спустя, получил чин генерала от инфантерии. Последнее время он нес обязанности председателя общества «Красного Креста».
Умер 4 мая 1883 г. от апоплексического удара.
