Потомственный музыкант, Колонн поступил в Парижскую консерваторию в 1856 г. по классам скрипки и композиции. Но уже в 1858 г. он был приглашён первой скрипкой в оркестр парижской Гранд Опера. Вскоре Колонн также занял место второй скрипки в знаменитом Квартете Ламурё — его первая скрипка Шарль Ламурё на долгие годы стал заметным соперником Колонна, особенно когда оба, Колонн и Ламурё, основали свои оркестры.
В марте 1873 г. мировой премьерой оратории Сезара Франка «Искупление» Колонн открыл в парижском театре «Одеон» первый сезон своих воскресных концертов. В ноябре того же года Колонн основал для проведения этих концертов свой собственный оркестр. Концерты Колонна пропагандировали, прежде всего, новейшую французскую музыку: Массне, Лало, Бизе, Берлиоза, Равеля и др. Колонн интересовался и русской музыкой, несколько раз гастролировал в Санкт-Петербурге, в том числе с французской оперой, дававшей представления в Малом театре в 1894 г. В 1892 г. Колонн был приглашён возглавить оркестр Гранд Опера, однако руководил им только один сезон, а затем вновь сосредоточил всё внимание на собственном оркестре.
Колонн считается одним из крупнейших французских дирижёров XIX века. Он оставил по себе славу жёсткого, почти тиранического руководителя оркестра.
