Происходил из знатного армянского рода (прозвище Цимисхий по-армянски значит «низкого роста»), был родственником своего предшественника Никифора Фоки и принимал деятельное участие в его убийстве, войдя в соглашение со своей любовницей Феофано, женой Никифора. По «требованию» патриарха Полиевкта Иоанн наказал своих приверженцев, обвинив исключительно их в убийстве Никифора, и удалил от двора Феофано. Затем он занялся делами милосердия и благотворительности, роздал всё имущество своё бедным, устроил больницу для прокажённых, которую очень часто посещал, сам перевязывая больным раны.
Перемена государя увеличила тревожное состояние империи. Завоевания Никифора на Востоке — в Киликии, Финикии и Келесирии — были почти потеряны; на западе Русь, призванная против болгар, угрожала грекам; не прекращался голод, свирепствовавший уже третий год. Энергичными мерами Иоанн Цимисхий избавил страну, прежде всего, от внутреннего бедствия; затем он обратился против сарацин и, наконец, против вторгшегося в пределы византийской империи киевского князя Святослава.
Первая победа над арабами была одержана при Антиохии талантливым евнухом Николаем; только после сражений с Русью при Аркадиополе и Доростоле, заключённого с ними мира и последовавшего за гибелью Святослава ухода русских за Дунай сам Иоанн совершил две экспедиции на восток, результатом которых было возвращение Сирии и Финикии. Болгария на время стала провинцией империи.
Смерть Иоанна Цимисхия приписывалась отравлению, виновником которого считали придворного евнуха, первого министра Василия Лекапена.
