Отец Жилле готовил сына к карьере пианиста и по достижении мальчиком двенадцатилетнего возраста обратился к брату с просьбой порекомендовать наилучшего педагога. Жорж Жилле, однако, оставил ученика себе, и уже в 15 лет Фернан Жилле получил первую премию на консерваторском конкурсе. В 1901 г. он занял пульт первого гобоя в Оркестре Ламурё, с 1902 г. одновременно играл в оркестре Гранд-Опера, а с 1908 г. также в децимете «Le Decem» (пять струнных и пять духовых). С началом Первой мировой войны ушёл на фронт, был военным лётчиком, награждён Военным крестом. После демобилизации вернулся к музыкальной карьере. В 1922 г. был приглашён Сергеем Кусевицким в сборный оркестр, с которым он гастролировал по Франции; за Кусевицким Жилле последовал в США и в 1925—1946 гг. занимал пульт первого гобоя в Бостонском симфоническом оркестре. Он также преподавал в Консерватории Новой Англии и Монреальской консерватории, был удостоен почётных докторских степеней в Консерватории Новой Англии и Истменовской школе музыки.
В память о Жилле с 1981 г. проводится конкурс молодых гобоистов и фаготистов (англ. The Fernand Gillet Young Artist Competition).
