Сын вице-адмирала М. И. Рябинина и жены его Екатерины Михайловны урожденной Колошиной, родился 19 ноября 1768 года.
В 1780 году был записан на военную службу сержантом в лейб-гвардии Преображенский полк. Явившись на лицо 1 января 1785 года был выпущен в капитаны армии и 13 марта определен во флигель-адъютанты к Вице-президенту Адмиралтейств-коллегии графу И. Г. Чернышеву, причём в 1785—1787 годах ежегодно плавал в Балтийском море, а в 1787 году командовал трешкоутом на Днепре во время путешествия в Крым императрицы Екатерины II.
Определённый в генеральс-адъютанты к графу Чернышеву 1 января 1788 года, он на корабле «Три Иерарха» в составе эскадры адмирала фон Дезина перешёл из Кронштадта в Копенгаген и крейсировал в Балтийском море у Карлскроны, после чего на фрегате «Брячислав» возвратился в Кронштадт.
В 1789 году, командуя шебекой «Летучая», участвовал в сражениях со шведами, за отличие был награждён 22 августа орденом св. Георгия 4-го класса (№ 342 по кавалерскому списку Судравского и № 657 по списку Григоровича—Степанова)
11 января 1790 года он был произведён в капитан-лейтенанты и затем, командуя гребным фрегатом «Св. Екатерина», был в Выборгском и Роченсальмском сражениях и в последнем был взят в плен.
Освобождённый из плена, Рябинин уже в 1791 году командовал на Петергофском рейде плавучими батареями и канонерскими лодками, в 1792 году командовал при гребном порте 1-й дивизией и 4-й эскадрой канонерских лодок, а в 1793 году был командирован, в числе других дворян торжественного посольства, в Константинополь, откуда вернулся в Санкт-Петербург, по болезни, в 1795 году и 15 ноября 1796 года произведён был в капитаны 2-го ранга.
В 1797 году Рябинин перевёл и исправил книгу «Факел морской», за что получил денежную награду, и в том же году определён был к чертежной при Адмиралтейств-коллегии, 12 октября 1798 года произведён был в капитаны 1-го ранга, 25 ноября 1799 года назначен в члены учрежденного при Адмиралтейств-коллегии Комитета и награждён орденом св. Анны 2-й степени.
Определённый в 1800 году снова во флот, Рябинин через два года назначен был в члены Коммерц-коллегии и 13 февраля 1803 года, «в сравнение со сверстниками», пожалован в действительные статские советники. Уволившись по прошению от должности 26 марта 1804 года, Рябинин в 1805—1806 годах был Новгородским гражданским губернатором, а с 23 января 1808 года по 27 декабря 1810 года был посланником в великом герцогстве Баденском (в Карлсруэ).
Выйдя затем в отставку, Е. М. Рябинин скончался в Санкт-Петербурге 28 мая 1827 года и погребён был на Смоленском православном кладбище.
Кроме указанных выше орденов, Рябинин имел шведский орден Меча и был командором ордена Св. Иоанна Иерусалимского.
Его сын Николай был контр-адмиралом и известным морским писателем.
Сестра E. M. Рябинина, Александра Михайловна, жена генерал-лейтенанта и сенатора И. П. Пущина, была матерью декабриста И. И. Пущина.
