Родился в Париже, сын казненного во время революции принца де Брольи и внук 2-го герцога де Брольи. Его мать во время казни своего мужа находилась в заключении в Везуле; ей удалось, однако, вместе с детьми спастись бегством в Швейцарию. Когда господству террора положен был конец, она возвратилась во Францию и вышла замуж за маркиза Войе д’Аржансона. Во время Империи Брольи состоял при посольствах в Варшаве и Вене; в 1813 году он был в качестве советника посольства в Праге. После первой Реставрации он, при посредстве Талейрана, 4 июня 1814 года получил место в палате пэров, где вскоре заявил себя сторонником либерализма, восставая против осуждения Нея, а также против исключительных законов и декретов об изгнании.
Он женился в 1816 году на Альбертине (1797—1838), дочери г-жи де Сталь, известной своими религиозными сочинениями. Хотя он не принимал в 1830 году никакого участия в низвержении старшей линии Бурбонов, но принадлежал к числу единомышленников Гизо и доктринёров, вследствие чего временное правительство назначило его 30 июля 1830 года министром внутренних дел, а Луи-Филипп в августе того же года — министром духовных дел и народного просвещения, равно как президентом Государственного Совета. Когда в ноябре того же года в министерстве взяла верх группа более решительных либералов, Брольи вместе с другими доктринёрами вышел в отставку.
С октября 1832 до апреля 1834, а потом с ноября 1834 до февраля 1836 года он был министром иностранных дел, а с марта 1835 года до своего выхода из кабинета занимал ещё должность президента Совета министров.
После Революции 1848 года он, в качестве сторонника Орлеанской династии, некоторое время держался в стороне от политического поприща. Только в 1849 году, после избрания его в департаменте Эр членом законодательного собрания, он сделался одним из вождей правой стороны и в 1851 году употребил немало стараний, чтобы подвинуть вперед вопрос о пересмотре конституции. При этом он имел в виду восстановление монархической власти в пользу Орлеанской фамилии, но его планы были разрушены государственным переворотом 2 декабря 1851 года.
Тогда он удалился в частную жизнь, был избран в 1855 году в члены Французской академии и напечатал в 1863 году «?crits et discours» (3 т., Париж).
