Вырос в рабочем пригороде Белфаста, где игра на флейте (народная и поп-музыка) была популярным развлечением, и получил первые уроки у своего дяди, руководившего ансамблем флейтистов-любителей. Затем продолжил обучение в Белфасте у Мюриэл Доун (англ. Muriel Down); в Лондоне в Королевской академии музыки у Джона Френсиса (англ. John Francis) и в Гилдхоллской школе музыки и театра у Джеффри Гильберта (англ. Geoffrey Gilbert); в Парижской консерватории у Гастона Крюнеля (фр. Gaston Crunelle). Брал частные уроки у Рампаля и Моиза. Однако учёбу в Парижской консерватории Голуэй оставил и диплома о высшем образовании так и не получил.
Профессиональную деятельность Голуэй начал в Королевском духовом оркестре. Затем работал в оркестре Шекспировского театра в Стратфорде-на-Эйвоне, оркестре Уэльской национальной оперы и Королевском театре Ковент-Гарден , играл на пикколо в Симфоническом оркестре BBC.
В 1967 был солистом Лондонского симфонического оркестра, с 1967 по 1969 солистом Королевского филармонического оркестра. Был первым флейтистом Берлинского филармонического оркестра под управлением Караяна (1969—1975). Затем начал сольную деятельность.
В репертуаре Голуэя широкий круг классических сочинений: Вивальди, Бах, Моцарт, Данци, Рейха, Чимароза, Шуберт, Штраус и др. Его интересует и современная музыка — в частности, он сотрудничал с такими композиторами, как Джон Корильяно и Лоуэлл Либерман.
В 1978 г. Голуэй записал кавер-версию знаменитого хита Джона Денвера «Annie’s Song», достигавшую третьего места в британских чартах, а много лет спустя Голуэем была записана сольная партия флейты для саундтрека 3-ей части киноэпопеи «Властелин колец». Он исполняет также музыку народов мира, популярные и джазовые мелодии.
Всего лишь один семестр Голуэй преподавал в Истменовской школе музыки (США). Среди его немногочисленных частных учеников известные флейтисты: Рафаэле Тревизани, Андреа Олива (итал. Andrea Oliva) и Бюлент Эвсил (тур. B?lent Evcil).
Несмотря на плотное расписание, он находит время для того, чтобы делиться с молодым поколением своим опытом и мудростью, проводя мастер-классы, распространяя новые сочинения для флейты, публикуя статьи, книги и учебники для флейты. Вместе со своей супругой леди Голуэй, он руководит Международной школой флейтистов в Веггисе (Швейцария) каждое лето, что дает ему возможность персональной встречи со студентами разных уровней.
В 1979 г. Голуэй выпустил автобиографию (New York: St. Martin’s Press, 1979). В 1982 г. вышла книга Голуэя «Флейта» (London: Macdonald & Co (Publishers) Ltd).
В настоящее время сэр Джеймс живет в Люцерне (Швейцария).
Его именем назван сорт крупных махровых роз.
Признание
Орден Британской Империи (1979). Музыкант года (США, 1997). Возведен в дворянское достоинство (2001).
