После окончания университета Мохаммед приехал в Пакистан, где стал сотрудничать с террористическими группами. В 1996 году Халид шейх Мохаммед был заочно осужден судом Нью-Йорка за участие в подготовке теракта на Филиппинах, в ходе которого террористы готовились взорвать 12 американских авиалайнеров. Мохаммед причастен к взрывам американских посольств в Кении и Танзании 7 августа 1998 года. 12 октября 2000 года начиненная взрывчаткой лодка врезалась в борт американского эсминца «Коул» (англ. USS Cole), стоявшего на рейде в заливе напротив города Аден, Йемен. Этот теракт также был спланирован при участии Халида шейха Мохаммеда. Тогда погибли 17 американских моряков, и были ранены ещё около 30.
Мохаммед был задержан 27 февраля 2003 года в ходе совместной операции американских спецслужб и полиции Пакистана в городе Равалпинди, расположенном недалеко от Исламабада. Сам Мохаммед в интервью корреспонденту телекомпании «Аль-Джазира» в сентябре 2002 года назвал себя главой военного совета «Аль-Каиды».
