Юность
Родился 15 июня 1893 года в Могилёве, в семье военнослужащего сверхсрочной службы, по вероисповеданию принадлежавшего к старообрядческой церкви. Был крещён в полковой церкви, находившейся в юрисдикции Святейшего Синода. О своём детстве вспоминал так:
В 1910 поступил в Белынический Рождество-Богородицкий монастырь Могилевской епархии. Был келейником наместника монастыря, архимандрита (будущего епископа) Арсения (Смоленца), в 1912 стал его иподиаконом. В 1912—1917 — послушник Тверского Успенского Отроча монастыря.
Монах
В 1918 году пострижен в монашество епископом Арсением (Смоленцем). С 1919 года — иеродиакон, с 1920 года — иеромонах.
Служил в Никольском храме Таганрога, выступал против обновленческого движения.
В 1924 году возведён в сан игумена.
В 1925 году был арестован, приговорён к двум годам лишения свободы. Находился в заключении в Кол-Ёле (Коми область). Вернулся в Таганрог, с 1927 года — архимандрит, был экономом архиерейского дома.
Архиерей
27 ноября 1932 года был хиротонисан во епископа Таганрогского, викария Ростовской епархии. Чин хиротонии в Ростовском кафедральном соборе совершали архиепископы Дмитровский Питирим (Крылов), управляющий делами Священного Синода; Ростовский Николай (Амассийский); Тобольский Назарий (Блинов) и епископ Барнаульский Александр (Белозер).
С 16 февраля 1933 года управлял Донской и Новочеркасской епархией.
В 1935 году был арестован. Приговорён к пяти годам лишения свободы по обвинению в «антисоветской агитации». Находился в заключении в Ухто-Ижемских лагерях Коми АССР. Его соузник по лагерю Борис Филиппов, вспоминал о владыке Иосифе:
В декабре 1940 году освобождён и вернулся в Таганрог, затем был выселен в Азов. В этом период принимал участие в деятельности нелегальной общины верующих «Белый дом», тайно служил, совершал священнические хиротонии и монашеские постриги. После того, как во время Великой Отечественной войны Таганрог был оккупирован немецкими войсками, возобновил открытое служение в качестве епископа Таганрогского (с августа 1942). Отказался от участия в пропагандистских акциях нацистов, несмотря на предложения с их стороны, продолжал поминать на богослужениях митрополита Сергия (Страгородского).
В октябре 1943 года прибыл в Умань, где 6 ноября 1943 года был арестован гестапо по обвинению в том, что «…прислан митрополитом Сергием для работы на оккупированной территории в пользу СССР». Кроме того, подозревался немцами в работе на английскую разведку. Освобождён 12 января 1944 года.
После освобождения Умани частями Красной Армии выехал в Москву для встречи с Патриархом Сергием, но по дороге был арестован в Киеве 4 июня 1944 года. Содержался в Москве в Бутырской тюрьме, затем был переведён в Ростов-на-Дону. В феврале 1945 года приговорён к 10 годам лишения свободы. Срок заключения отбывал в Челябинском лагере особого назначения, с 1948 года — в посёлке Спасск в Карагандинском лагере. Работал на строительстве кирпичного завода, был санитаром. С 1954 находился в ссылке в посёлке Ак-Кудук Чкаловского района Кокчетавской области. Несмотря на пожилой возраст, был вынужден работать водовозом. В 1956 был освобождён из ссылки.
Служение в Казахстане
С марта 1956 года — настоятель Михаило-Архангельского храма города Кокчетава, затем — почётный настоятель Петропавловского собора в городе Петропавловске.
С 25 ноября 1956 года — епископ Петропавловский, викарий Алма-Атинской епархии.
С 14 марта 1957 года — епископ Петропавловский и Кустанайский.
27 февраля 1958 года возведён в сан архиепископа.
С 28 сентября 1960 года — архиепископ Алма-Атинский и Казахстанский; в этот период Петропавловская епархия был ликвидирована, а её приходы переданы в Алма-Атинскую. Возглавил Алма-Атинскую епархию в трудной ситуации, когда после смерти уважаемого прихожанами митрополита Николая (Могилевского) в ней происходили конфликты. Смог успокоить волнения и заслужить доверие паствы, став достойным преемником владыки Николая. С 25 февраля 1968 — митрополит.
Много молился (как днём, так и ночью, в своей домашней церкви или келье), был талантливым проповедником. По воспоминаниям современников, владыка
После кончины Патриарха Алексия I его имя называлось в качестве кандидата в Патриархи, однако он отказался.
Труды
Акафисты преподобной Пелагии, святителю Павлу исповеднику, великомученику Иакову Персиянину (составлены в Азове в 1942).
Именно архиепископу Иосифу (Чернову) приписывается знаменитая фраза про Гагарина. Уполномоченный до делам религии Вохменин Степан Романович потребовал от архиепископа отреагировать в проповеди на полет Гагарина в космос. Владыка Иосиф с этим согласился и в проповеди сказал: «Юрий Гагарин [в космос летал и] Бога не видел… а Бог его видел! И благословил!».
