Окончил Санкт-Петербургскую консерваторию по классу Анны Есиповой. Гастролировал в разных странах Европы как солист вместе с дирижёром Василием Сафоновым. Выступал также как аккомпаниатор со скрипачом Натаном Мильштейном и певицей Марией Куренко.
Педагогическая деятельность Тарновского длилась более 60 лет. Преподавал в Одессе, затем был профессором Киевской консерватории — в Киеве его учениками были, в частности, Владимир Горовиц и Александр Юнинский. В 1928 г. эмигрировал в Париж, с 1930 г. обосновался в США. Преподавал в Лос-Анджелесе, где среди его учеников был, например, Орасио Гутьеррес. Среди последних учеников Тарновского в середине 1970-х была Мэделин Стоу, после смерти Тарновского отказавшаяся от музыкальной карьеры и сделавшая вместо этого актёрскую.
