Православный Армянин. Родился около 780 года в Константинополе. По некоторым данным, в молодости занимался иконописью как ремеслом, потом стал преподавать; в 810-х годах уже имел славу человека весьма ученого и уважаемого (сохранились три письма к нему святого Феодора Студита) и получил прозвище «Грамматик».
В 814 году стал доверенным лицом иконоборческого императора Льва V Армянина, собирал для него материалы из писания и богословского наследия в подтверждение иконоборческого учения. После того как весной 815 года патриарх Никифор, отказавшийся отвергнуть иконы, был отправлен в ссылку, император Лев хотел сделать патриархом Иоанна, но синклитики воспротивлиись этому, поскольку Иоанн был ещё достаточно молод и не очень известен при дворе. Патриархом стал Феодот Мелиссин, бывший до того видным придворным; Иоанн стал игуменом константинопольского придворного монастыря святых Сергия и Вакха. Около 829—830 года Иоанн стал патриаршим синкеллом и вскоре был отправлен императором Феофилом послом в Багдад, к халифу Мамуну, где всех поразил своим умом и пророческим даром. Сохранилась его печать того времени с надписью: «Господи, помоги рабу Твоему Иоанну монаху, игумену Святого Сергия и синкеллу». 21 января 837 года Иоанн вступил на патриарший престол.
Согласно ходившим об Иоанне слухам, он занимался колдовством и гаданиями, но, судя по всему, это выдумки враждебных к нему иконопочитателей; на самом деле, по-видимому, Иоанн интересовался науками, в том числе алхимией, и, возможно, проводил какие-то химические опыты.
Спустя год после смерти императора Феофила в 842 году, против Иоанна, как сторонника иконоборчества, был начат судебный процесс. Императрица Феодора направила к Иоанну друнгария виглы Константина Армянина с предложением присоединиться к иконопочитателям или оставить патриарший престол. Иоанн отказался и, в результате стычки с воинами, пришедшими с друнгарием, получил раны в живот; тут же распространился слух, будто патриарха убили по приказанию императрицы; Феодора послала своего брата патрикия Варду замять дело, и в итоге происшествие было истолковано для публики так, будто патриарх нанес сам себе раны, чтобы вызвать скандал, — это послужило поводом для его низложения как покусившегося на самоубийство. Императрица, однако, не позволила его преследовать, и он окончил свои дни в собственном имении в местечке Психа' на европейском берегу Босфора (по другим данным, поначалу он был сослан в монастырь Клейдион на Босфоре). По хронике Георгия Амартола Иоанн во время ссылки в монстыре выскоблил глаза на иконе, за что «нанесли ему ременными плетьми 200 ран», однако современные ученые признают, что это выдумка враждебных к Иоанну иконопочитателей.
Из-за того, что Иоанн был по сути «автором» всего второго иконоборчества и его главной интеллектуальной опорой, он вызвал на себя большую ненависть иконопочитателей, которые разукрасили его имя разнообразными, иногда нелепыми легендами; но даже при такой враждебности в хрониках можно найти ясные следы другой традиции (у того же Продолжателя Феофана, например), которая в наиболее краткой форме выражена в позднейшей хроники Михаила Глики, назвавшего последнего иконоборческого патриарха «великим Иоанном».
Год смерти Иоанна неизвестен; предположительно он скончался не позднее 867 года, так и оставшись при своих иконоборческих убеждениях.
Его преемник Мефодий I сурово порицал его за иконоборчество в каноне на Торжество Православия, который он написал в 843—844 гг.
Из творений Иоанна сохранились только несколько отрывков в анонимном неизданном опровержении иконоборцев; отрывки опубликовал J. Gouillard в 1966 году.
