Родился 13 декабря 1810 года.
Фермор вступил в службу в 1825 году кондуктором в кондукторскую роту Главного инженерного училища и, окончив там курс, был производён в прапорщики (8 декабря 1829 года) и оставлен при училище для продолжения занятий в нижнем офицерском классе.
В 1830 г. был назначен во 2-й саперный батальон, в 1831 году прикомандирован к Литовскому пионерному батальону, в рядах которого действовал против польских мятежников; в этом походе он имел случай неоднократно выказать свою храбрость: 13 февраля 1831 года был в Гроховском сражении, затем, находясь в отряде генерал-майора Герштенцвейга, два раза участвовал в постройке моста через Вислу у деревни Тырчине и при укреплении правого её берега, и под сильным пушечным и ружейным огнём охранял особой важности пост от многократных попыток неприятеля завладеть им. За эти дела он был награждён орденом св. Анны 4-й степени с надписью «За храбрость». 21 июня того же года Фермор был командирован во 2-й сапёрный батальон и, находясь в штурмовых колоннах 2-го пехотного корпуса, участвовал во взятии Варшавы, за что был награждён орденом Святой Анны 3-й степени с бантом.
В 1833 г. Фермор был переведён в Учебный сапёрный батальон и два раза был прикомандирован к кондукторской роте Главного инженерного училища (с июня 1834 по апрель 1835 года и с января 1836 по 1841 год); в 1841 году назначен начальником офицерского отделения; в 1849 году был отчислен от училища с переводом в учебный батальон.
Будучи прикомандирован к Дворянскому полку, подполковник (с 25 июня 1851 года) Фермор в 1852 году назначен помощником инспектора классов. С этого года для Фермора наступает педагогическая деятельность, продолжавшаяся до самой его смерти. Произведённый 17 апреля 1856 года в полковники, он 12 июня 1865 года был назначен директором Аудиторского училища, а через год директором и вновь открытых при училище офицерских классов, которые год спустя были переименованы в Военно-юридическую академию.
27 марта 1866 года Фермор был произведён в генерал-майоры и оставался во главе этих двух заведений до 25 декабря 1875 года, когда был назначен членом Конференции Николаевской инженерной академии и училища; 30 августа 1879 года произведён в генерал-лейтенанты.
Умер 10 января 1888 года в Санкт-Петербурге и похоронен в Сергиевой пустыни. Вместе с ним похоронена его супруга Александра Михайловна, урождённая Чихачёва (29 апреля 1824 — 18 декабря 1887).
Награды
За свою службу Фермор получил следующие награды:
- Орден Святой Анны 4-й степени с налписью «За храбрость» (1831 год)
- Орден Святой Анны 3-й степени с бантом (1831 год)
- Польский Знак отличия за военное достоинство 4-й степени (1831 год)
- Орден Святого Владимира 4-й степени (1843 год)
- Орден Святой Анны 2-й степени (1848 год, Императорская корона к этому ордену пожалована в 1854 году)
- Орден Святого Георгия 4-й степени (1 февраля 1852 года, за беспорочную выслугу 25 лет в офицерских чинах, № 8935 по списку Григоровича—Степанова)
- Орден Святого Владимира 3-й степени (1868 год)
- Орден Святого Станислава 1-й степени (1870 год)
- Орден Святой Анны 1-й степени (1872 год)
- Знак отличия за XL лет беспорочной службы (1878 год)
