Военная карьера
Он начал свою военную карьеру в 1859 году курсантом. В 1861 году получает звание младшего лейтенанта 16 батальона. В 1863 году поступает в Королевское военное училище. В 1864 году попадает на Датско-прусскую войну в составе 11 полка. В 1867 году становится старшим лейтенантом пехоты, но уже в 1868 году восстанавливается в артиллерии. В том же году он становится преподавателем математики в школе офицеров и преподает в нем до 1896 года . Он также являлся автором нескольких учебников в области баллистики. С 1887 по 1889 Мадсен служит в 1 артиллерийском батальоне, где он был повышен до подполковника, работал начальником штаба артиллерии. В 1895 году повышен в звании до полковника. Мадсен был ответственным за принятие пулемета Мадсен, конструктором которого он являлся, в 1902 году. Пулемет Мадсена впоследствии широко экспортировался.
Политическая карьера
Как военный министр Дании, Мадсен входил в состав Кабинета министров Дании с 1901 по 1905. Он стал генералом в 1903 году и был избран в Парламент Дании в 1909 году. Он являлся также президентом датского математического общества с 1903 по 1910 год.
