Родился в старой африканерской семье и был назван в честь хирурга Джеймса Барри. В 1889—1892 изучал право в Амстердамском университете и с 1892 по 1895 имел частную юридическую практику в Претории, после чего был назначен в Верховный суд Оранжевого Свободного государства. С началом Второй англо-бурской войны Герцог стал заместителем командующего армией ОАГ и одним из организаторов партизанской войны против британских войск, а в 1902 был одним из подписавших завершивший войну Веренигингский мирный договор.
После завершения войны Герцог стал одним из руководителей националистической партии «Оранский союз», а в 1907 вошёл в правительство получившей автономию Оранжевой колонии в качестве генерального прокурора министра образования и добивался на этом посту увеличения преподавания африкаанса в школах. В 1910 Герцог стал министром юстиции в составе первого правительства ЮАС, руководимого Луисом Ботой, но, недовольный пробританской ориентацией Боты, в 1912 вышел в отставку, а в 1913 возглавил вышедших из Южноафриканской партии националистов. Вскоре Герцог был избран председателем Национальной партии, придерживавшейся националистически-африканерских позиций. В период восстания буров в 1914 году он занял нейтральную позицию, а в дальнейшем жёстко критиковал участие страны в Первой мировой войне и активную внешнюю политику правительств Боты и Яна Смэтса. В 1924 на очередных парламентских выборах Национальная партия получила большинство в парламенте, и Герцог сменил Смэтса во главе правительства.
Основными направлениями политики Герцога были усиление роли африканеров и африкаанса в жизни страны, курс на строительство режима апартеида и урезание прав цветного и коренного населения, а также расширение прав и повышение уровня жизни бедного белого населения. Наряду с попытками лишить африканцев Капской колонии избирательных прав Герцогом были отменены в 1930 избирательные цензы для белых, а в 1931 для белых же введено женское избирательное право. Во внешней политике Герцог придерживался изоляционизма и стремился к большей автономии ЮАС от метрополии. Он был одним из инициаторов создания Содружества наций и принятия Вестминстерского статута, по которому в 1931 ЮАС получил формальную независимость. В 1927 он добился также права на использование национального флага наряду с британским.
Великая депрессия и изоляционистская политика Герцога, первоначально не желавшего отказываться от золотого стандарта, ухудшили экономическое положение страны, и в 1933 Герцог образовал со Смэтсом коалиционное правительство, а в 1934 была создана Объединённая партия под председательством Герцога. Смэтс получил посты заместителя премьер-министра и председателя Объединённой партии. Вскоре экономическая ситуация стабилизировалась и начался рост уровня жизни белого населения. В том же 1934 году, однако, противниками курса Герцога на сближение с англоязычным населением была создана «Очищенная Национальная партия» под председательством Даниэля Франсуа Малана, стоявшая на позициях крайнего национализма.
С началом Второй мировой войны между Герцогом, выступавшим против вступления в войну, и Смэтсом, стоявшим за выполнение союзнических обязательств по отношению к метрополии, произошёл раскол. После того, как большинство членов Объединённой партии, а также входившие в правительственную коалицию юнионисты и лейбористы поддержали Смэтса, Герцог подал в отставку в пользу Смэтса, возглавил Африканерскую партию и занял резко оппозиционную и антивоенную позицию. Через три года он умер.
