Начал учиться музыке в Одессе, продолжил занятия с 1907 года в Берлине в Консерватории Клиндворта-Шарвенки у Морица Майер-Мара. Концертировал с 1910 года, в 1920-е гг. особенно часто выступал в составе Дуэта Спиваковских с младшим братом, скрипачом Тосси Спиваковским (ряд коротких пьес Фрица Крейслера, Николо Паганини, Иоганнеса Брамса и других авторов, записанных дуэтом в 1924—1931 гг., перевыпущены на CD), а затем в составе фортепианного трио (с виолончелистом Эдмундом Курцем). Приход в Германии к власти нацистов застал трио в Австралии, и музыканты приняли решение не возвращаться в Европу; все трое в 1934 году приступили к преподавательской работе в Мельбурнской консерватории (в том же году к Спиваковским присоединились ещё два брата, Адольф и Исаак).
В 1938 году Спиваковский получил австралийское гражданство. Во время Второй мировой войны он концертировал преимущественно в Австралии, а в 1947—1960 гг. осуществил целый ряд гастрольных поездок, охвативших Европу, Северную Америку и Африку.
