Происходил из дворян Смоленской губернии, родился 8 ноября 1837 года, сын генерал-лейтенанта Н. А. Рыдзевского.
Военную службу начал поступив 28 сентября 1853 г. кондуктором в Николаевское инженерное училище, по окончании которого был произведён в портупей-юнкера 9 января 1857 г.) и 6 июня 1857 г. — в прапорщики; был оставлен при Академии для продолжения курса наук.
22 июня 1859 г. Рыдзевский был переведён прапорщиком в лейб-гвардии Сапёрный батальон, 30 августа 1859 г., в чине подпоручика, командирован в Офицерскую стрелковую школу, которую окончил 21 августа 1862 г., а 30 августа 1863 г. произведён был в штабс-капитаны и назначен в лейб-гвардии Сапёрном батальоне командиром роты Его Величества.
С 1865 по 1872 г. Рыдзевский получил несколько орденов, в том числе св. Владимира 4-й степени (14 ноября 1871 г.), 16 апреля 1867 г. произведён в полковники, а в следующем году, 6 апреля, назначен командиром 1-го Кавказского сапёрного Великого Князя Николая Николаевича Старшего батальона. Через четыре года (22 июня 1872 г.) ему поручено было командование 14-м гренадерским Грузинским Великого Князя Константина Николаевича полком, с которым он и принимал участие в русско-турецкой войне 1877—78 гг.
Первым боевым подвигом Рыдзевского было отражение 3 июня 1877 г. вылазки Карсского гарнизона у селений Аравартан и Чифтлик, затем, 10 сентября, за бой под Зивином 13 июня, он был награждён орденом св. Георгия 4-й степени и произведён в генерал-майоры, с назначением командиром 2-й бригады 40-й пехотной дивизии.
При штурме Карса Рыдзевский командовал седьмой колонной, состоявшей из двух батальонов Гурийского и Абхазского полков при 24 орудиях. Задачей его было, по диспозиции, выступив у селения Мицри, занять позицию перед фронтом укреплений Араба и Карадача и демонстрировать против них ружейным и артиллерийским огнем, угрожая решительным наступлением. Задачу эту он и выполнил 5 ноября блестяще, причём, как было сказано в реляции, под его личным начальством взят был форт Араб. За штурм Карса Рыдзевский награжден был орденом св. Георгия 3-й степени (10-го декабря 1877 г.)
