Ранние годы жизни
Йосеф Герц родился в Ребрине, Венгрия (ныне Словакия) в 1872 году в возрасте 12 лет эмигрировал в Нью-Йорк. Учился в Нью-Йоркском Сити-колледж (степень бакалавра искусств), в Колумбийском университете и в Еврейской теологической семинарии Америки (первый выпуск и смиха раввина в 1894 г.).
Первую раввинскую кафедру занял в г. Сиракьюс (штат Нью-Йорк). В 1898 году перебрался в Южную Африку (Трансвааль в Витвотерсрандскую старую еврейскую общину (Йоханнесбург), где находился до 1911 года, несмотря на попытки президента Паула Крюгера выслать его за пробританские симпатии и выступления за предоставление религиозного равноправия евреям и католикам в Южной Африке. Одновременно в качестве профессора философии преподавал в Трансваальском университетском колледже (Витвотерсрандский университет).
В 1911 году вернулся в Нью-Йорк, где возглавил общину «Орах Хаим».
Деятельность на посту главного раввина
В 1913 году Герц назначен главным раввином Объединения еврейских общин Британской империи. На этот пост также претендовали р. Моше Хиямсон и р. Бернард Драхман. Пост главного раввина р. Герц занимал до смерти в 1946 году. Время его руководства отмечено жаркими спорами с различными людьми, в основном — внутри еврейской общины. Британский национальный биографический словарь называет его «воинствующе консервативным». Про него говорили, что он предпочитал разрешать разногласия спокойным диалогом — после того, как все остальные средства были исчерпаны.
Несмотря на это, Герц не был повсеместно признанным раввинским авторитетом даже в Британии, возглавляемое им Объединение еврейских общин Британской империи считалось некоторыми новыми ультраортодоксальными иммигрантами, прибывшими после 1880-х гг. недостаточно ортодоксальным. Герц использовал всю имеющуюся у него силу, а равно и уговоры, чтобы распространить на них свое влияние. Восточноевропейское происхождение Герца придавало дополнительный иронический элемент этому конфликту. Доверия в ультраортодоксальной среде Герцу удалось добиться после того, как он уговорил р. Йехезеля Абрамского возглавить Лондонский Бейт-Дин.
Кроме того, р. Герц оказывал активную поддержку религиозному сионизму в 1920-30-е гг., когда большинство видных еврейских деятелей выступали против идеи заселения Израиля, боясь, что на диаспору посыпятся обвинения в двойной лояльности.
Р. Герц также решительно противостоял реформистскому и либеральному иудаизму, не доходя, впрочем, до личной вражды. Р. Герц также не высказывал принципиальных возражений против соблюдения траура по умершим реформистам.
Несмотря на обилие идеологических конфликтов, его выразительное красноречие, ясное письмо, огромная эрудиция и очевидная искренность снискали ему огромное уважение в глазах большинства британских евреев и неевреев. Его комментарии на Пятикнижие можно найти на полках в большинстве синагог и еврейских домов как в Великобритании, так и по всему миру.
Р. Герц был президентом Еврейского колледжа и его исполнительным директором в 1939-45. В 1922—1923 годах возглавлял Еврейское историческое общество Англии и Конференцию английских иудейских проповедников. Входил в состав совета директоров Еврейского университета в Израиле и председательствовал в правлении Института еврейских исследований университета. Был вице-президентом различных еврейских и нееврейских органов, включая Англо-Еврейскую ассоциацию, Лондонский госпиталь, Лигу союза наций, Национальный совет общественной морали и Королевский фонд моряков.