Сын репатриантов из России. По рекомендации Бронислава Губермана отправился для обучения в Парижскую консерваторию, занимался под руководством Карла Флеша, Джордже Энеску и Жака Тибо. В 1939 г. перебрался в Англию, где провёл годы Второй мировой войны, дебютировал с Лондонским филармоническим оркестром и сделал первые записи для BBC. В 1951 г. вернулся в Израиль. В 1955 г. предпринял первое мировое турне. С конца 1960-х гг. живёт во Франции.
Дружеские связи и совместные проекты объединяли Гитлиса с музыкантами разных стран и направлений. Бруно Мадерна посвятил ему пьесу, которая так и называется «Пьеса для Иври» (англ. Piece for Ivry; 1971). В 1968 г. Гитлис принял участие в записи песни Йоко Оно «Whole Lotta Yoko» в рамках проекта «Рок-н-ролльный цирк Роллинг Стоунз».
В 1990 г. Гитлис получил звание Посла доброй воли ЮНЕСКО.
