Сын выходца из Англии, генерал-майора Виллима Юрьевича Фермора (ум.1731). Военная карьера началась при Анне Иоанновне под началом Миниха, у которого Фермор служил адъютантом. Звание полковника присвоено за отличие во время крымского похода 1736 года. В 1737 году, будучи генерал-квартирмейстером, имея под началом 350 человек, наткнулся на двухтысячный крымско-турецкий отряд и успешно оборонялся от превосходящего противника до подхода помощи. За это был произведён в генерал-майоры. В 1738 году командовал авангардом армии Миниха, в 1739 году — отличился в сражении при Ставучанах.
В 1741 году участвовал в войне против Швеции, во время которой овладел Вильманстрандом и был награждён орденом Александра Невского.
Пик военной карьеры Фермора пришёлся на Семилетнюю войну. В чине генерал-аншефа он берёт Мемель, способствует победе русских войск при Гросс-Егерсдорфе (1757). В 1758 году становится командующим русскими войсками вместо С. Ф. Апраксина, берёт Кёнигсберг и всю Восточную Пруссию. Императрицей Марией-Терезией был возвёден в графское достоинство. Безуспешно осаждал Данциг и Кюстрин; командовал русскими войсками в сражении при Цорндорфе (1758), за что получил орден Св. Анны.
По характеристике А. А. Керсновского, автора известной «Истории русской армии» «генерал Фермор — отличный администратор, заботливый начальник (Суворов вспоминал о нём как о „втором отце“), но вместе с тем суетливый и нерешительный, прототип Куропаткина». В мае 1759 года, вызвав неудовольствие Санкт Петербургской конференции своими отчётами, вынужден был уступить командование Пётру Семёновичу Салтыкову, но остался при действующей армии. Ответ Фермора на рескрипт Елизаветы о его отставке можно понять так, что он и сам был не против сложить с себя тяжкое бремя верховного командования: «Видя вашего императорского величества всемилостивейшее продолжение материнского милосердия и доверенность к последнему рабу своему, не токмо себе сие (то есть отставку) за обиду не почитаю, но, припадая к стопам вашего императорского величества, рабское мое благодарение приношу».
Участвовал в сражении при Кунерсдорфе (1759). В 1760 году действовал по берегам Одера для отвлечения сил Фридриха, короткое время замещал заболевшего Салтыкова на посту главнокомандующего, причём, под его началом, одним из его отрядов (под командованием Тотлебена) был занят Берлин. В это время в должности дежурного офицера, а затем генерального дежурного при Ферморе служит будущий великий русский полководец А. В. Суворов. В 1762 году уволен с военной службы.
С 1746 по 1758 годы Фермор руководил Канцелярией от строений.
В 1763 году назначен генерал-губернатором Смоленска, а после 1764 года стал сенатором. В 1770 году вышел в отставку, в 8 (19) сентября 1771 года умер.
Двое детей — Виллим Георг (1749—-1828) и Сарра Элизабета, известных по чудесным портретам И. Я. Вишнякова, вошедшим в сокровищницу русского портретного искусства.
