Сведения о происхождении Абу Муслима разнятся. Наиболее вероятно, что, будучи рабом-персом, он принадлежал к социальной группе «неарабов», которая подвергалась особой дискриминации со стороны Омейядов. Когда он в 741 году находился в заточении, с ним встретился имам, тайно работавший на Аббасидов. Благодаря его содействию Абу Муслим был освобождён и направлен для подготовки антиомейядского восстания в Хорасан.
В Хорасане, где Аббасиды на протяжении 20 лет возбуждали население против Омейядов, отношение к Абу Муслиму как представителю социальных низов было поначалу неоднозначным. За несколько лет (745—746 годы) ему удалось сплотить вокруг себя арабов с неарабами, привлечь к протестному движению беглых рабов, иранских крестьян и всех недовольных омейядским правлением.
15 июня 747 года Абу Муслим открыто выступил против халифа Марвана II. Показав недюжинный талант военачальника, Абу Муслим зимой овладел Мервом, в течение 748 года взял Нишапур и Тус, а в начале 750 года наголову разбил Омейядов на реке Большой Заб. Аббасидский халиф ас-Саффах позволил ему стать наместником Хорасана, используя помощь Абу Муслима для подавления новых восстаний. В 751 году войска, отправленные Абу Муслимом, одержали победу над китайскими войсками в битве, вошедшей в историю под названием Таласская битва.
У пришедшего на смену ас-Саффаху в 754 году халифа Мансура популярность Абу Муслима в народе вызывала подозрения и зависть. После подавления Абу Муслимом мятежа Абдаллаха ибн Али, одного из родственников халифа, он был вызван ко двору халифа в Ктесифон и предательски умерщвлён. Тело военачальника сбросили в Тигр. Весть о его гибели вызвала волнения в Хорасане. Абу Муслим стал народным героем, на происхождении от него настаивал Бабек.
