Ещё до получения какого-либо систематического музыкального образования 12-летний Гийю начал работать органистом в церкви Сан-Серж в Анжере. В 1945—1955 годах он учился в Парижской консерватории у Марселя Дюпре, Мориса Дюрюфле и Оливье Мессиана. В 1955—1958 годах Жан Гийю преподавал в Институте церковной музыки в Лиссабоне, в 1958—1963 работал в Берлине, а с 1963 года является штатным органистом парижского собора Святого Евстахия (Сент-Эсташ).
В творчестве Гийю-композитора преобладают органные произведения, как сольные, так и с оркестром (семь концертов для органа с оркестром) и в ансамбле. Им написаны также три симфонии, концерты для фортепиано и тромбона с оркестром, камерная музыка. Среди переложений для органа, выполненных Гийю, особое место занимают «Картинки с выставки» Мусоргского. Гийю также является автором выдержавшей три издания книги «Орган: прошлое и будущее» (фр. «L'Orgue, Souvenir et Avenir»).
Жан Гийю — широко концертирующий органист-виртуоз, обладающий особым вкусом к концертной импровизации. Он также неоднократно выступал консультантом при сооружении новых органов — в частности, в Брюсселе, Цюрихе, Неаполе, Санта-Крус-де-Тенерифе. В 2002 году Гийю стал первым исполнителем на возрождённом инструменте XIX века — педальном фортепиано.
