С шести лет учился игре на фортепиано, в 10 лет перешёл на виолончель. Занимался в Венской музыкальной академии у Тобиаса Кюне, затем совершенствовал своё мастерство под руководством Андре Наварра. Концертирует с 1973 года.
В репертуаре Шиффа-виолончелиста важное место занимали Сюиты Баха (запись 2001 года получила Grand Prix du Disque), концерты Дворжака и Шостаковича. Шифф также был первым исполнителем произведений таких выдающихся композиторов современности, как Витольд Лютославский, Ханс Вернер Хенце, Эрнст Кшенек, Вольфганг Рим.
С 1986 года Шифф выступает также как дирижёр — в этой своей ипостаси он является учеником Ганса Сваровски. В 1990—1996 годах он возглавлял британский камерный оркестр «Северная симфония», в 1996—2002 годах — камерный оркестр «Musikkollegium Winterthur» (в 1996—1999 годах — одновременно Копенгагенский филармонический оркестр), а с 2005 года руководит Венским камерным оркестром.
