Родился в 1794 году и происходил из дворян Херсонской губернии, был сыном поручика прусской армии Антона Давида фон Клейста, поступившего на русскую службу в 1770 году.
Ефим Антонович Клейст получил образование в Императорском военно-сиротском доме (впоследствии Павловский кадетский корпус) и 1817 году поступил на службу прапорщиком в 36-ю батарейную роту 18-й артиллерийской бригады. В 1819 году был переведён во 2-й Украинский уланский полк, в 1820 году произведён в поручики и далее последовательно получил чины штабс-ротмистра (1823 год), ротмистра (1826 год) и майора (1829 год).
С 25 января 1831 года Клейст находился в делах против польских мятежников на пространстве от Минска до Варшавы, причём отличился 27 августа 1831 года при покорении Варшавы. За отличие в делах против поляков награждён орденом св. Владимира 4-й степени с бантом и орденом св. Анны 3-й степени. Кроме того, за Польскую кампанию имел медаль «За взятие приступом Варшавы 25 и 26 августа 1831 года» и польским знаком отличия за военное достоинство «Vitruti militari» 3-й степени.
С 1834 года до 1836 года находился в Образцовом кавалерийском полку, в 1836 году за отличие по службе произведён в подполковники, причём в 1836 году временно командовал Новомиргородским уланским полком. В 1837 году награждён орденом св. Станислава 3-й степени за отличие по службе и в 1839 году повторно был прикомандирован к Образцовому кавалерийскому полку.
В 1840 году Клейст получил назначение в Отдельный Сибирский корпус, где получил в командование 4-ю бригаду Сибирского линейного казачьего войска. 5 декабря 1841 году за беспорочную выслугу 25 лет в офицерских чинах награждён орденом св. Георгия 4-й степени (№ 6520 по кавалерскому списку Григоровича—Степанова). В 1842 году назначен командиром 3-й бригады Сибирского линейного казачьего войска и в 1843 году произведён в полковники.
В 1845 году награждён знаком отличия беспорочной службы за XXV лет и в 1846 году удостоен ордена св. Анны 2-й степени с императорской короной. Вслед за тем, в 1847 году, был назначен командиром 2-й казачьей бригады Отдельного сибирского корпуса и в следующем году исправлял должность Пограничного начальника сибирских киргизов; за отличное исполнение последнего поручения в 1849 году был награждён орденом св. Владимира 3-й степени, в 1850 году награждён знаком отличия беспорочной службы за XXX лет.
В 1852 году за отличие по службе произведён в генерал-майоры.
Уволен с военной службы в отставку в марте 1852 года.
Скончался 16 февраля 1857 года в Казани.
