Изучал музыку в Вюрцбургской консерватории и классическую филологию в Гейдельбергском университете. С 1877 продолжил занятия в Лейпцигской консерватории. В 1880 г. стал доктором филологии и в том же году дебютировал как пианист в Лейпциге.
В 1880—1881 гг. Карл Мук был капельмейстером в Цюрихе. В 1882 г. работал в Зальцбурге, в 1883—1884 — в Брно, в 1884—1886 г. — в Граце. В 1886 г. стал первым капельмейстером Немецкого театра в Праге. В 1892 г. стал первым капельмейстером в Королевской придворной опере в Берлине (впоследствии — Берлинская государственная опера). Мук много гастролировал. В 1912—1918 гг. он был музыкальным руководителем Бостонского симфонического оркестра; на этом посту он оказался в центре скандала, связанного с ложными обвинениями в отказе исполнить государственный гимн США в условиях Первой мировой войны, — несмотря на то, что в итоге оркестр благополучно исполнил гимн в специальной аранжировке концертмейстера Антона Витека, репутация Мука заметно пострадала, и в 1918 г. он был интернирован как немец, вопреки швейцарскому гражданству. Впоследствии Мук руководил Гамбургским филармоническим оркестром.
В период 1901—1930 гг. Карл Мук, выдающийся знаток музыки Вагнера, регулярно появлялся на Байройтском фестивале, заложив высокий стандарт вагнеровского исполнительства (особенно это касается его «Парсифаля», сохранились фрагментарные записи 1927—1928 гг.). В 1926 г. он стал почётным гражданином Байройта. Мук был известен своей требовательностью и верностью партитуре.
