Родился в бедной семье. В 9 лет был отчислен из школы, поскольку не мог платить за занятия. В 1818 г. ушёл из дома с шестью франками в кармане и на протяжении пяти лет странствовал по стране, пока в 1824 г. не добрался до Парижа и не поступил жестянщиком на фабрику. Четыре года спустя возглавил одну из мастерских. В 1830 г. стал директором фабрики, в 1836 г. был приглашён стать компаньоном владельца фабрики. В 1838 г. учредил в Брюсселе собственный торговый дом - к 1850 г. его капитал составлял 7 000 000 франков.
Бизнес Кая включал в себя как сельскохозяйственную, так и промышленную часть. Занимаясь выращиванием винограда и сахарной свёклы и дальнейшим производством вина и сахара, Кай самолично занимался конструированием и усовершенствованием используемых в пищевой промышленности и виноделии аппаратов и машин. Дистилляционный аппарат системы Кая использовался и в начале XX века. К концу 1860-х гг. Кай являлся, по-видимому, крупнейшим производителем сахара в Европе.
В то же время у Кая были интересы в тяжёлой промышленности (производство металлоконструкций) и, прежде всего, в паровозостроении: начиная с 1844 г. он выпускал по британской лицензии наиболее востребованные французскими железными дорогами паровозы марки Crampton. Во время Франко-прусской войны (1870—1871) производство Кая было переведено на военные рельсы и обеспечивало французскую армию орудиями, канонерскими лодками и т. п.; 300 мельниц Кая день и ночь работали, чтобы обеспечить запасами муки осаждённый Париж.
