Родился в 1774 г., по происхождению донской казак. В 1791 г. он попал на военную службу в Санкт-Петербург и здесь принялся за изучение грамоты. Будучи большим бедняком, Ефремов был вынужден научиться сапожному ремеслу, чтобы заработать для учения лишнюю копейку.
В 1793 г. при сформировании Гатчинских войск, Ефремов, как выделявшийся своей строевой подготовкой, был зачислен в них, а в 1796 г., будучи уже вахмистром, при сформировании лейб-гусарского казачьего полка был определён в эскадрон Его Величества и в 1798 г. произведён в корнеты того же полка.
В 1805 г. Ефремов в чине штабс-ротмистра принял участие в сражении под Аустерлицем, а в 1807 г. дрался под Гуттштадтом, Клейнфельдом, Вольфсдорфом и Фридландом. За подвиги в эту войну он был награждён орденом св. Владимира 4-й степени.
В 1810 г. полковник Ефремов принял в командование эскадрон Его Величества. В апреле 1812 года лейб-казаки прибыли к западной границе Российской империи. Ряд их боевых подвигов во время Отечественной войны связан с именем Ефремова: 14 июня — при местечке Троки, 15 июня — у Вильны, 1 июля — при корчме Соры, 19-го — при Новыверки, 23-го — при Кочержишках, 11 и 12-го — у Будиловской переправы на Двине, 14-го и 15-го — под Витебском, 16-го — у Поречья, 4 августа — у Смоленска, 7-го — при деревне Заболотье и 26-го — при Бородине. За Бородинское сражение Ефремов был награждён орденом св. Анны 2-й степени с алмазными знаками.
В сентябре в командование его было дано четыре казачьих полка, с которыми он и проявил себя как лихой партизан: 4 сентября — при деревне Жилино, с 4-го по 8-е — на Каширской дороге, 8-го — при Старикове, 14-го — при Вишнякове и затем у Боровского перевоза. 22 октября, у Вязьмы, командуя пятью полками, он «истребил немалое число противника»; 23-го атаковал у села Беломорского пехоту во фланг, 27-го — Дорогобуж; 1 декабря был в деле у Павлинска. Затем, командуя тремя казачьими полками, Ефремов участвует во многих делах в отряде генерал-адъютанта Чернышёва.
За подвиги от Малоярославца до Данцига Ефремов был награжден орденом св. Владимира 3-й степени и золотой саблей с надписью «За храбрость». 26 марта 1813 г. Ефремов был удостоен ордена св. Георгия 4-й степени (№ 1191 по списку Судравского и № 2557 по списку Григоровича—Степанова)
С прибытием императора Александра I к армии лейб-казаки уже до конца кампании составляли конвой Его Величества.
4 октября под Лейпцигом Ефремов явился героем исторической атаки лейб-казаков и 23 декабря 1813 г. был награждён за неё орденом св. Георгия 3-й степени (№ 352)
В бою 14 марта 1814 г. при Фершампенуазе Ефремов был ранен штыком в голову.
В 1815 г. полковник Ефремов был назначен командиром лейб-гвардии Казачьего полка и в 1816 г. произведён в генерал-майоры.
В 1828 г. Ефремов участвовал в войне с турками и получил рану саблей в правую руку во время преследования турок, разбитых на реке Камчик. В эту войну он был награждён золотой саблей с бриллиантами.
25 июня 1829 г. Ефремов был произведён в генерал-лейтенанты и уволен на Дон в бессрочный отпуск.
Умер 4 октября 1843 г. В 1911 г. его прах был торжественно перевезён на вечное упокоение (вместе с останками графа Платова, графа Орлова-Денисова, генерала Бакланова) в усыпальницу войскового кафедрального собора в Новочеркасске.
