Костромской мещанин, в детстве выучился грамоте при слабой и неумелой помощи матери. Жизнь его протекла в основном на службе в землемерном ведомстве. В 1842 Зарубин был определён на службу в костромскую губернскую чертёжную, в 1854 перемещён в Москву в Межевую канцелярию, старшим землемерным помощником, с 1858—1860 служил землемером в департаменте уделов. Весь этот период службы прошёл для Зарубина с большими неприятностями и лишениями, источник которых лежал в изобретённых им точных приборах для правильного измерения и точного нанесения на бумагу измеренных площадей земной поверхности. Планы присяжных землемеров передавались на поверку Зарубину, который при посредстве прибора своего изобретения находил те планы неверными, что сильно возбуждало против него составителей планов.
В 1864 Зарубин был причислен к министерству государственного имущества, в котором в должности помощника директора Императорского сельскохозяйственного музея служил до 1883. И здесь ему также пришлось немало перенести от лиц, завидовавших его изобретательским способностям. В 1853 Зарубин представил в Академию наук несколько изобретённых им инструментов, относящихся к межевому делу. Академия наградила изобретения Демидовской премией, а описание их издала на свой счёт. Демидовской премии удостоен и его планиметр-самокат (1855). Императорское вольно-экономическое общество наградило золотыми медалями его многосильный гидропульт (1866) и водоподъёмник (1867). Всероссийская выставка 1882 также наградила медалью его сельскохозяйственный пожарный насос.
Из-за отсутствия средств не были осуществлены следующие изобретения Зарубина: 1) несколько новых планиметров; 2) способ определения морской глубины на глубоких местах без помощи линя или верёвки; 3) способ определения скорости хода корабля во в любой момент с помощью стрелки и циферблата в каюте; 4) то же посредством музыкальных звуков; 5) автоматический способ определения пройденного кораблём пути с различными скоростями и 6) маятник, самосохраняющий постоянную длину при разных температурах.
Из напечатанных Зарубиным статей необходимо упомянуть: «Как решают простые русские люди вопрос об общинном владении землёю» («Труды Императорского Вольно-Экономического общества», 1865); «О водоподъёмных машинах вообще» (там же, 1866); «Теория пожарных насосов» (там же); «Определение плотности воздуха на разных высотах» («Природа и охота», 1878); «Устройство секундного маятника» (там же); «Научное разрешение вопроса об ассенизации Санкт-Петербурга по проекту Линдлея» (брошюра, 1886).
В память Зарубина Императорское Вольно-Экономическое общество учредило золотую медаль.
