С 1967 года учился в Лондоне в Королевской академии музыки. В дальнейшем совершенствовал своё мастерство под руководством Джеральда Мура и Джеффри Парсонса. В 1972 году был штатным концертмейстером певческого мастер-класса Питера Пирса. В 1976 году выступил одним из соучредителей программы «Альманах песенников» (англ. Songmakers' Almanac), в рамках которой многие годы проходили концерты, составленные из редкого и забытого репертуара для голоса и фортепиано.
Грэм Джонсон пользуется репутацией выдающегося аккомпаниатора. Особенно тесное сотрудничество связывало его с такими певцами, как Фелисити Лотт, Энн Мюррей и Энтони Рольф Джонсон. Среди многочисленных записей Джонсона выделяется записанное для лейбла Hyperion Records полное собрание песен Франца Шуберта (37 выпусков в 1987—2000 годах, общая продолжительность звучания 2624 минуты 11 секунд) с участием ряда выдающихся певцов (помимо трёх уже названных — Джанет Бейкер, Йен Бостридж, Петер Шрайер…). В 2006 году к этому комплекту были добавлены ещё три диска «Песни современников Шуберта». По завершении этого проекта Джонсон приступил к записи аналогичных полных собраний песен Роберта Шумана и Габриэля Форе. Интерес Джонсона к французской песенной традиции выразился также в записи «Мелодий» Франсиса Пуленка (вместе с Лотт), альбомов, посвящённых песням Шарля Гуно, Камиля Сен-Санса, Эрнеста Шоссона, Луи Дюрея, Деоды Северака, Рейнальдо Ана.
Преподаёт в Гилдхоллской школе музыки.
