Когда Советский Союз ушёл из Афганистана в 1989 после многих лет оккупации и гражданской войны, он вместе с бойцами Талибана, победил партизан и вошёл в Кабул.
Он служил премьер-министром Афганистана и главой консультативного совета. Ходили слухи, будто были разногласия между ним и Омаром. В то время Раббани и правящий совет составляли общественное лицо Афганистана, самые важные решения принимались Муллой Омаром, который проживал в Кандагаре, на юге Афганистана.
Раббани умер в возрасте 45 лет в военной больнице в Равалпинди, Пакистан, от рака печени. Согласно пресс-релизу от афганского Посольства в Исламабаде:
