Родился в 1843 году, воспитывался в Михайловском Воронежском кадетском корпусе и во 2-м военном Константиновском училище, из которого в 1863 году был произведён в офицеры в Лейб-гвардии Гренадерский полк. Окончив в 1870 году Николаевскую академию Генерального штаба, Зарубаев долгое время служил на должностях генерального штаба в штабах Западного и Восточного Сибирских военных округов; произведённый в 1875 году в полковники, он был начальником штаба войск Акмолинской области, с 1877 г. — начальником штаба 7-й кавалерийской дивизии, а с 1885 год по 1890 год командовал 133-м пехотным Симферопольским полком.
В 1890 году Зарубаев был произведён в генерал-майоры и назначен командиром 2-й бригады 13-й пехотной дивизии, в 1891 г. — начальником штаба 6-го армейского корпуса, в 1898 г. — начальником штаба Омского военного округа, в 1899 г. произведён в генерал-лейтенанты, а с 1900 по 1903 г. командовал 9-й пехотной дивизией, после чего был назначен помощником командующего войсками Сибирского военного округа.
На этой должности Зарубаева застала мобилизация 1904 г., и он был назначен командиром 4-го Сибирского корпуса, составленного из 2-й и 3-й Сибирских резервных бригад, развёрнутых в дивизии. По прибытии корпуса в мае 1904 г. на театр военных действий с Японией он получил назначение наблюдать побережье от Лаохе до Сеньючена и охранять пути от Сюяня к Хайчену и Гайджоу к коммуникации 1-го Сибирского корпуса.
После нашей неудачи у Вафангоу 1-й и 4-й Сибирские корпуса были оттянуты к Дашичао и, по отъезде генерала Куропаткина с южного фронта на восточный, поступили в подчинение Зарубаева. 10—11 июля армия Оку атаковала наш Южный отряд, но была отбита на всех пунктах. Этот успех не был, однако, использован и превращён в победу, так как в 11 часов 11 июля Зарубаев получил от командующего армией приказание отступить к Хайчену.
В Ляоянском сражении Зарубаев руководил обороной укреплённого района и также с успехом отбил все атаки японцев на форты и редуты, удержав позиции до приказания командующего армией отойти за Тайцзыхэ. Но эта заслуга Зарубаева была умалена его просьбой о подкреплении в тот момент, когда генерал Куропаткин получил донесение о катастрофе под Янтаем, что оказало косвенное влияние на очищение Ляояна.
В сражении на Шахе 4-й Сибирский корпус Зарубаева находился первоначально в резерве армии, но, двигаясь за центром, он после неудачных действий генерала May, бывшего впереди, неожиданно оказался в 1-й линии и вынес на своих плечах ряд упорных боёв у Хаматана.
Мукденом 4-й Сибирский корпус 10 дней (с 12 по 22 февраля) упорно оборонял свои позиции. 23 февраля Зарубаев становится во главе сводного корпуса, сформированного из частей 4-го и 1-го армейского корпуса; одна часть этого корпуса 23 февраля выдерживает бой у Цуэртуня, другая выделяется в отряд генерала Мылова; 25 февраля формирование сводного корпуса отменено, и войска Зарубаева подчиняются командующему 2-й армией. Сам же Зарубаев с момента увольнения генерала Куропаткина с поста главнокомандующего и до его назначения командующим 1-й Манчжурской армией временно командовал этой последней. Со вступлением генерала Линевича на пост главнокомандующего Зарубаев немедленно вступил во временное командование 1-й армией, которой и командовал до назначения на этот пост генерала Куропаткина.
За свои боевые заслуги в эту войну Зарубаев получил звание генерал-адъютанта, чин генерала от инфантерии со старшинством с 17 августа 1904 г. (Ляоян), наргаждён золотым оружием с надписью «За храбрость» и 1 ноября 1905 г. орденом св. Георгия 4-й степени
За время кампании Зарубаев выделился из ряда других высших генералов армии тем, что, не вмешиваясь в дело младшего, предоставлял инициативу подчинённым, хотя сам и не оказался способным ее проявить (Дашичао, Ляоян); приказания его были немногочисленны, но определённы. Спокойно относясь к событиям, он не нервничал и не сбивал с толку подчиненных, не «дёргал» части, что придавало устойчивый, спокойный темп работе его штаба и войск его корпуса. Благодаря этим качествам Зарубаев приобрёл большую популярность в армии.
По окончании войны части 4-го Сибирского корпуса были расформированы, заслужив под начальством Зарубаева много боевых отличий, и сам Зарубаев 26 октября 1905 г. был назначен помощником Е. И. Выс. Главнокомандующего войсками гвардии и Петербургского военного округа, а 31 декабря, кроме того, и постоянным членом совета государственной обороны.
С 1906 по 1909 г. он занимал пост генерал-инспектора пехоты и председательствовал в комиссии, которой было поручено после войны выработать ряд мер по улучшению личного состава корпуса офицеров. Комиссия эта, приобретшая известность под именем «Комиссии генерала Зарубаева», констатировала лишь недочеты, высказала много пожеланий, но реальной пользы не принесла, так как её предначертания не получили осуществления.
24 декабря 1909 г. Зарубаев был назначен командующим войсками Одесского военного округа. Умер в Кисловодске 10 июня 1912 г.
Зарубаев числился в списках 12-го Сибирского Барнаульского полка (впоследствии 44-й Сибирский стрелковый полк), как наиболее отличившегося из частей его корпуса.
