После всего лишь года (1868—1869) занятий в классе гобоя Парижской консерватории у Шарля Колена Жилле получил первую премию на консерваторском конкурсе, равносильную по правилам этого учебного заведения свидетельству о выпуске. В дальнейшем он играл в оркестре парижской Итальянской оперы, в Оркестре Колонн (1872—1876), в Оркестре концертного общества Парижской консерватории (1876—1899) и одновременно в оркестре Опера комик (1878—1895). Был одним из ближайших сподвижников Поля Таффанеля в «Обществе камерной музыки для духовых инструментов» (фр. Soci?t? de musique de chambre pour instruments ? vent) с момента его основания в 1879 г. Вместе с Таффанелем и кларнетистом Шарлем Тюрбаном в 1887 г. сопровождал Камиля Сен-Санса в его петербургских гастролях.
В 1881—1918 гг. профессор Парижской консерватории. Среди учеников Жилле, в частности, Марсель Табюто.
