Родился 18 июня 1798 года, был сыном директора Петербургских народных училищ Ивана Ивановича Ростовцева. Его братья — Александр (1800—1867, тайный советник, известный финансист времён правления Александра II), Илья (1797—1828, полковник, убит в сражении с турками под Кюстенджи) и Яков (генерал-адъютант, член Государственного совета Российской империи, один из разработчиков крестьянской реформы 1861 года).
Образование получил в Пажеском корпусе, в который был зачислен 4 сентября 1807 года и из которого был выпущен 20 апреля 1817 года прапорщиком в Учебный карабинерный полк.
Переведённый, 28 декабря того же года, в лейб-гвардии Финляндский полк, Ростовцев, в чине подпоручика (с 8 июня 1818 г.) переведён был 4 ноября 1821 года в лейб-гвардии Егерский полк, с которым участвовал в русско-турецкой войне 1828—1829 годов. Находился при осаде и взятии Варны, а в ночь с 13 на 14 сентября участвовал во взятии турецкого укреплённого лагеря, а затем находился в траншеях.
8 ноября 1830 года Ростовцев был произведён в полковники с переводом в лейб-гвардии Преображенский полк.
Приняв участие в Польской кампании 1831 года, Ростовцев находился при взятии Варшавы (командуя в этом сражении охотниками, он был ранен пулею навылет в левую ногу ниже колена) и 16 октября (по другим данным — 25 декабря) 1831 года был награждён орденом св. Георгия 4-й степени (№ 4617по кавалерскому списку Григоровича—Степанова)
6 ноября 1832 года назначен был состоять по армии.
15 марта 1835 года, по Высочайшему повелению, Ростовцев был назначен директором в Государственный коммерческий банк сверх штата, причём через два месяца был, за раной, уволен от военной службы.
Впоследствии он был с 24 апреля 1849 года старшим директором этого банка и был произведён в действительные статские советники 28 сентября 1849 года.
Умер 24 июня 1858 года в Санкт-Петербурге и погребён на Тихвинском кладбище Александро-Невской лавры.
Ростовцев был женат на Екатерине Егоровне урожденной Пшеницыной (24.11.1815—05.11.1840).
Также получил известность его племянник — Николай Яковлевич Ростовцев (1831—1897) был генерал-лейтенантом и военным губернатором Самаркандской области.
