Происходил из дворян Лифляндской губернии и родился 25 марта 1772 г. в Ямбурге.
В службу зачислен нижним чином в лейб-гвардии в Измайловский полк. 1 января 1790 г. был переведён из него капитаном в Псковский мушкетерский полк, а 3 июля 1791 г. перемещён был в Козловский мушкетёрский полк. В год своего поступления в действительную службу Рынкевич принял участие в походах против шведов — в 1790 году и 28 апреля находился в команде у секунд-майора Несветаева и при пограничной деревне у Раксаловой перешёл неприятельскую сторону за реку Кюмень, при занятии неприятельского стана.
В 1792 г. с 26 июля находился в Польше, в 1794 г. был там же в делах против поляков: 26 мая — при Щикочине, 28 и 29 — при Песочном; был затем в действительных сражениях со 2 июля по 26 августа у Варшавы, под долговременной канонадой; 27 сентября переправился на правую сторону реки Вислы и 29-го участвовал в атаке и разбитии неприятеля, укрепившего стан при Мещевице, где взят был Костюшко. 24 сентября он был при штурме Праги. 29 сентября 1794 г., за отличие против поляков был пожалован в секунд-майоры, получив, кроме того, за штурм Праги, золотой крест.
Переведённый, 21 августа 1798 г., в Полтавский мушкетерский полк, Рынкевич 12 января 1799 г. был назначен его полковым командиром и 15 сентября того же года произведён был в подполковники. Награждённый 30 января 1800 г. орденом св. Анны 2-й степени, а 11 декабря того же года произведённый в полковники, Рынкевич 24 декабря 1801 г., по прошению, уволен был от службы.
Поступив, 30 ноября 1806 г., в состав Земского войска, Рынкевич находился сначала тысячником по 4-й области, а потом, по требованию Главнокомандующего ею, назначен был для образования подвижной милиции — до 31 января 1808 г., причём в 1808 г. получил за это подарок и золотую медаль на Владимирской ленте.
В Отечественную войну 1812 г. Рынкевич с Рязанским ополчением, в которое поступил 8 августа 1812 г. и в котором командовал 3-м пехотным полком, был «в походах и действиях противу неприятеля для защищения к столичному городу Москве», за что и получил Высочайше установленную в 1812 г. серебряную медаль на голубой ленте; по переходе же за границу 19 июля 1813 г. Рынкевич принял под свое начальство бригаду и был взят с ней из Рязанского ополчения по именному Высочайшему повелению генерал-адъютантом Закревским в Польскую армию.
Рынкевич участвовал в блокаде Дрездена с 1 октября по 1 ноября 1813 года, и в бывшей вылазке французов из Дрездена 5 октября и в действительном сражении против оных. Также находился и при сдаче этого города на капитуляцию.
После сего, выступив с полком через Пруссию, Бранденбург и Вестфалию, находился при блокаде крепости Магдебурга с 15 декабря 1813 г. по 4 января 1814 года, где во время сделанной неприятелем сильной вылазки 19 декабря при деревне Дездорф.
Затем, выступив к Гамбургу, проходил через Брауншвейг, Ганновер, Голштинию, Данию и по прибытии к Гамбургу находился при блокаде этой крепости с 22 января по 15 июня 1814 г. За дела, бывшие 28 января и 5 февраля того же года и за ночные вылазки получил золотую шпагу с надписью «За храбрость». По сдаче Гамбурга, следуя со вверенным ему отрядом вторично через Голштинию и Ганновер, проходил герцогства Мекленбург-Шверинское и Мекленбург-Штрелицкое и потом через Пруссию, Померанию и Польшу вернулся в Россию.
