По рекомендации Мод Пауэлл и Ефрема Цимбалиста в 13-летнем возрасте поступил в Институт музыкального искусства в класс Франца Кнайзеля. В 1927—1933 гг. играл на альте в составе связанного с Институтом Квартета музыкального искусства (англ. Musical Art Quartet) вместе с Сашей Якобсеном, Бернардом Око и Мари Рёме-Розанофф. В 1928 г. вошёл в число победителей Наумбурговского конкурса молодых исполнителей. В 1932 г. женился на пианистке Аннетте Лебойл (Кауфман), в последующие полвека аккомпанировавшей ему.
В 1934 г. Кауфман записал сольные партии для саундтрека к фильму Эрнста Любича «Весёлая вдова», положив начало своей исключительно успешной музыкальной карьере в Голливуде. Утверждается, что им записано около 400 скрипичных соло для кинофильмов, в том числе для таких значительных и популярных, как «Унесённые ветром», «Грозовой перевал», «Касабланка», «Спартак».
Вместе с тем Кауфман продолжал выступать и записываться с академическим репертуаром. Осуществлённая им в 1950 г. запись «Времён года» Антонио Вивальди была удостоена во Франции премии Grand Prix du Disque и, как утверждается, способствовала возрождению широкого интереса к творчеству композитора. Среди других значительных записей Кауфмана — Концерт для скрипки с оркестром Арама Хачатуряна, Соната для скрипки и фортепиано Аарона Копленда (с композитором за фортепиано) и Концерт для скрипки с оркестром Сэмюэла Барбера (по утверждению самого Кауфмана — первая запись этого сочинения).
