Учился в музыкальной школе в Киеве у ученицы Фердинанда Лауба Елены Вонсовской, затем с 1909 г. в Санкт-Петербургской консерватории у Леопольда Ауэра. 24 января 1909 г. выступил в Петербурге с первым сольным концертом.
В 1917—1926 гг. гастролировал в разных странах мира, 27 февраля 1922 г. дебютировал в Нью-Йорке. Затем вернулся в Советский Союз, был профессором Ленинградской (1928—1936) и Московской (1936—1941) консерваторий. В Ленинграде жил в знаменитом Толстовском доме.
«Это был истинный романтик скрипичной игры, подлинный вдохновенный поэт скрипки, у которого в каждой фразе, в каждой мелодической интонации и даже в отдельном звуке присутствовало поэтическое начало».
Звание заслуженного деятеля искусств РСФСР Полякин получил лишь в 1940 г.
