Родился в дворянской семье Тамбовской губернии. Учился в Тамбовской гимназии, одно время состоял на военной службе, в начале 1860-х гг. несколько лет был вольнослушателем Московского университета, затем служил мировым посредником в Могилевской губернии, в конце 1870-х гг. был мировым судьей в Подольской губернии, с 1885 по 1896 управлял отделениями Крестьянского банка в Вильно (ныне — Вильнюс), Ковно, Оренбурге и Ставрополе. С 1896 в отставке с чином статского советника.
Писать начал в 1861 (корреспонденции в газетах «Московские ведомости», «День», «Голос»). В 1870—1873 член редакции «Биржевых ведомостей». В 1870-х гг. был фактическим редактором «Будильника» и «Живописного Обозрения». Часто подписывался псевдонимом И. Якунин.
Множество его стихотворений, рассказов, пьес, исторических статей и воспоминаний, появившихся преимущественно в «Историческом Вестнике», «Русской Старине» и отчасти «Вестнике Европы», собраны им в книжках: «Люди тёмные» (1889), «Грезы и песни» (4-е изд., СПб., 1896), «Тени прошлого» (1885), «Молодая пора» (1891), «Для спектаклей» (1897), «Хива» (1898), «Жизнь и служба мирового судьи» (1900), «Граф В. А. Перовский и его зимний поход в Хиву» (1901), «Кавказ и его герои» (1901), «Для народа» (1897), «Встречи и Воспоминания» (1903).
Переводил стихотворения Хафиза и Виктора Гюго.
С 1898 по 1904 Захарьин занимался разбором драгоценного архива фрейлины графини А. А. Толстой. Началом работы по извлечению ценных сведений из этого архива стала публикация в «Вестнике Европы» 1904. Исторические статьи и воспоминания Захарьина весьма интересны, хотя и не всегда следуют исторических данным.
