Младший брат генерал-поручиков Степана и Павла Матвеевичей и генерал-майора Ивана Матвеевича, родился в 1740-х гг., в 1761 г. поступил в Морской кадетский корпус кадетом, 1 мая 1767 г. произведён был в гардемарины и ежегодно плавал в Балтийском море.
25 июня 1770 г. произведён был в мичманы и на корабле «Всеволод», в эскадре контр-адмирала Арфа, перешёл из Кронштадта в Архипелаг, где и крейсировал в 1771—1774 гг., причём 24 ноября 1773 г. получил чин лейтенанта.
В 1775 г. Ржевский командовал фрегатом «Констанция» на рейде в Ливорно, 15 февраля 1776 г. определён был адъютантом к своему дяде, вице-адмиралу А. Н. Сенявину, и, командуя тем же фрегатом в отряде капитана Козлянинова, плавал к Дарданеллам; в 1777 г. из Ливорно он ходил в Мессину, к Танжеру, а в 1779 г. вернулся со своим фрегатом в Кронштадт.
1 января 1782 г. произведённый в капитаны 2-го ранга, Ржевский в 1783 г. был в Архангельске, а 1 января 1784 г. уволен был от службы с чином капитана 1-го ранга.
Проживая затем в своих имениях в Орловской губернии, он 18 января 1790 г. назначен был председателем Орловского верхнего земского суда 1-го департамента, в 1797 г. был статским советником и председателем Орловской палаты суда и расправы.
30 января 1797 г. был назначен Минским вице-губернатором, а 9 августа 1799 г. произведён был в действительные статские советники и 23 декабря того же года назначен Новгородским гражданским губернатором.
28 октября 1800 г. был уволен, по прошению, от службы, с производством в тайные советники и с пенсией полного жалованья. Проживая, после выхода в отставку из флота, в Орле, Ржевский состоял в масонской ложе под управлением Орловского вице-губернатора З. Я. Карнеева.
В 1812 году, незадолго до вступления в Москву французов, Ржевский отделал деревянный дом в Арбатской части, затем уехал в Мценское свое имение, откуда в феврале 1813 года просил Московскую управу благочиния о возмещении ему убытков, понесенных от сожжения и разграбления его дома. Время смерти Ржевского неизвестно. Его сын Константин (родился в 1783 году) будучи в чине майора был убит 21 января 1831 года во время Польского восстания.
