Альбер, старший сын премьер-министра Франции Виктора де Брольи и внук госпожи де Сталь, ещё в юности начал журналистскую карьеру написав ряд статей в «Revue des Deux Mondes», и в то же время являлся одним из редакторов «Correspondant».
Во время правления короля Франции Луи-Филиппа I Альбер Бройль выполнял обязанности секретаря посольств в европейских столицах Мадриде (Испания) и Риме (Италия). В 1848 году оставил свой пост и во времена Второй империи принципиально воздерживался от любой политической деятельности. В 1871 году — заместитель главы департамента Эр. В том же году был назначен послом при английском дворе в Лондоне. Брольи также являлся одной из заметных фигур либерального католицизма.
Жак Виктор Альбер герцог де Брольи, являясь главой кабинета «морального порядка» (1873—1874), пытался сохранить династические права и вотировал концепцию аристократической двухпалатной системы. Однако его предложения были отвергнуты как республиканцами, так и бонапартистами.
С 1876 по 1885 год Брольи выполнял обязанности сенатора от департамента Эр. Помимо этого, он стал членом Французской академии (как и его отец) и Академии моральных и политических наук Франции. Как учёный он написал ряд исторических исследований, а также собственные мемуары.
Во время кризиса герцог вновь создал кабинет министров, но в результате принятия так называемого «Манифеста 363» собрание и кабинет были в том же году распущены.
Жак Виктор Альбер герцог де Брольи умер 19 января 1901 года в Париже.
