Родился в старинном татарском селе Азеево Тамбовской губернии, в крестьянской семье. Начав работать мальчиком в лавке татарского купца в Москве, торговавшего пушниной, он становится приказчиком, а позднее — зятем этого купца. После смерти тестя Ерзин получает известность своей исключительной честностью и становится одним из богатейших людей Москвы. Купец с 1863 г., возведённый вместе с семьёй в 1887 г. в почётное потомственное гражданство, в 1905 г. Ерзин основывает фирму «Восточный торговый дом Салих Ерзин и сыновья», специализирующуюся на торговле хлопком, оптом привозимом из Бухары, а также торговле шелком, кожей, мехами и другими товарами. В 1910 г. ему присваивается звание купца 1-й гильдии. В эти годы в его собственности находятся крупные мерлушечные заведения, многочисленные магазины и торговые лавки, восемь домовладений в Замоскворечье в районе бывшей Татарской слободы, например, красивейший особняк — дом купца Губонина (Климентовский пер., д. 1/18), приобретенный у обанкротившегося купца, в котором впоследствии располагалась контора Ерзина.
Помимо успешной торговли, Ерзин был также широко известен своей благотворительностью. Семейные предания гласят, что, когда он раздавал милостыню, у дома выстраивалась огромная очередь, поскольку слава о щедрости Ерзина шла по всему городу, и не только у московских татар. В 80-е гг. XIX в. Ерзин внёс значительные денежные суммы на перестройку Исторической мечети Москвы, выделил крупную сумму на строительство кирпичной ограды вокруг Даниловского мусульманского кладбища в Москве. Кроме того, Ерзин построил мечеть в родном селе Азеево, материально поддерживал азеевское медресе.
Наибольшую известность Ерзин получил благодаря своему участию в финансировании строительства Московской Соборной мечети (Выползов пер., д. 7). В 1903 г. Ерзин полностью взял на себя оплату её строительства. В ноябре 1904 г. была открыта новая мусульманская мечеть, построенная по проекту архитектора Н. Жукова и рассчитанная на 3 тыс. человек. Умер Ерзин в июле 1911 г.; его могила расположена на Даниловском мусульманском кладбище г. Москвы. У Салиха Ерзина было 10 детей. После смерти Ерзина торговое дело продолжили его сыновья. Одна из внучек Салиха Ерзина Фатима Ерзина стала женой известного советского политического деятеля Мирсаида Султан-Галиева. В июне 1999 г. в память о благодеянии Ерзина на фасаде Московской Соборной мечети в присутствии муфтия Равиля Гайнутдина и потомков мецената была открыта мемориальная доска.
В октябре 2009 года именем Салиха Ерзина названа улица в городе Набережные Челны (Республика Татарстан).
В сентябре 2011 года в Доме Асадуллаева торжественно отмечалось 100-летие внучки Салиха Ерзина мемуариста, старейшей представительницы мусульманской общины Москвы Раузы Ахмедовны Кастровой (родилась в 1911 году в Касимове).
