Также как и его младший брат, Карл учился у своего отца Кристиана Иоахима, флейтиста и композитора. В детстве выступал в театре Казино в Копенгагене в дуэте со столь же юным арфистом Францем Пёницем. Начиная с 13 лет и до 1868 года был первым флейтистом в оркестре Копенгагена, которым руководил Нильс Гаде. С 1869 по 1878 гг. работал в Королевской капелле в Копенгагене. В 1878—1880 годы работал в оркестре Санкт-Петербургской королевской капеллы. В 1881 году переезжает в Германию. В 1882 году стал одним из основателей Берлинского филармонического оркестра, где до 1893 играл первую флейту.
В 1893 Андерсен прекратил исполнительскую деятельность из-за паралича языка (в данном случае, возможно, один из симптомов заболевания сифилисом). В 1894 стал дирижёром театра Тиволи в Копенгагене. В 1897 основал оркестровую школу, где до самой своей смерти работал директором и преподавателем. В 1905 году королевским указом Андерсен был удостоен дворянского звания.
Играл на флейтах простых систем, хотя многие его ученики, среди которых известные флейтисты Эмиль Прилль и Ари ван Лёвена, играли на флейтах системы Бёма.
Автор около 70 опусов произведений для флейты. Наибольшую популярность в учебной практике завоевали этюды Андерсена, которых он написал более 8 тетрадей.
