Служил в итальянской колониальной администрации, и, получив стипендию, закончил в 1958 Римский университет Сапьенца. В 1959 был избран в Парламентскую ассамблею.
Когда Сомали получила независимость от 1 июля 1960 года, он был назначен тогдашним Президентом Аденом Абдуллой Османом Дааром в качестве премьер-министра после отставки Мухаммеда Хаджи Ибрагима Эгаля. Он оставался премьер-министром до марта 1964 года.
В 1967 году Шермарк был избран президентом Сомали и приведен к присяге на должность 10 июня 1967 года.
15 октября 1969 года во время визита в северный город Лас-Анод с коллегой Али Мухаммад Махди, Шермарк был застрелен полицейским.
Вслед за его убийством последовал военный переворот 21 октября 1969 года (день после его похорон), который возглавил генерал-майор Мухаммед Сиад Барре, в то время — командующий армией.
