Происходил из дворян Смоленской губернии, родился в 1805 году, сын героя сражения под Прейсиш-Эйлау полковника Антона Ивановича Рыдзевского; первоначальное образование получил в Финляндии, где служил его отец, затем был определён пансионером в Санкт-Петербург, во 2-ю военную гимназию.
30 октября 1820 года он, сдав экзамен, поступил кондуктором в Главное инженерное училище, 19 ноября 1822 года по экзамену был произведён в прапорщики полевых инженеров и 15 декабря 1824 года, по окончании курса в офицерских классах Главного инженерного училища был назначен на службу в крепость Бобруйск, получив при переходе в старший офицерский класс чин подпоручика (22 декабря 1823 года).
27 марта 1825 года Рыдзевский был командирован в распоряжение наследника цесаревича Константина Павловича для работ в польских крепостях Модлине и Замостье и под руководством известного строителя этих крепостей, бывшего инженерного генерала наполеоновских войск Маллета, поступившего на польскую службу под фамилией Мелецкого.
8 ноября 1827 года Рыдзевский был произведён в поручики, а 5 апреля 1829 года командирован на театр войны в Европейскую Турцию к исправляющему должность начальника инженеров 2-й армии и, по прибытии на место, с 10 по 23 мая производил осадные работы под крепостью Силистрией, за что был 14 июля 1829 года награждён орденом св. Анны 3-й степени с бантом. Затем, 24 мая, во время движения главных сил по Шумлинской дороге через селение Каургу, Рыдзевский находился при начальнике инженеров 2-й армии генерале Лейхнере, участвовал при поражении, 30 мая, великого визиря под Кулевчей, а после перехода, в июле месяце, русских войск через Балканы, укреплял этапы и военные дороги в горах блокгаузами, за что получил 30 августа 1829 года орден св. Владимира 4-й степени с бантом. После Адрианопольского мира он, 24 февраля 1830 года, вернулся в Бобруйск, причем ему было дан не в зачёт, в виде награды, годовой оклад жалованья.
С началом Польского восстания, Рыдзевский 6 апреля 1831 года был прикомандирован к начальнику инженеров действующей армии инженер-генералу И. И. Дену, с которым и работал над укреплением города Брест-Литовска, Мендзержица и Седлеца. 11 мая, после переправы русских войск через Западный Буг, он следовал с войсками через Соколово, Гродно и Высокомазовецк до Остроленки, откуда вместе с генералом Деном поехал в Ломжу для укрепления этого города, а 26 мая послан был в отряд генерала Ридигера, с которым участвовал в военных действиях в Люблинской губернии. 6 июля он устроил переправу через реку Вепрж под Лысобоками, 7 июля участвовал при поражении корпуса Янковского под Буздиско, а 8 июля — при движении на Коцк, причем вторично устроил переправу через Вепрж; с 18 по 26 июля работал над устройством укреплений и переправы через Вислу у местечка Юзефова, 28 июля был в авангардном деле при Границе, а с 1 по 6 августа опять укреплял и устраивал переправу через Вислу у деревник Подгуржи.
