Окончил Музыкальный техникум имени Гнесиных, затем Московскую консерваторию (1932) у Константина Игумнова. Завоевал вторую премию на Первом Всесоюзном конкурсе музыкантов-исполнителей (1933).
Был известен как сторонник расширения репертуара за счёт редких и сложных произведений; впервые в России исполнил Фантазию Клода Дебюсси, Концертино Артюра Онеггера, «Негритянскую рапсодию» Франсиса Пуленка. Нередко выступал с собственными транскрипциями — в частности, в 1947 г. исполнил Сонату № 29 «Хаммерклавир» (op. 106) Людвига ван Бетховена в переложении для фортепиано с оркестром. В 1940-50-е гг. играл в составе фортепианного трио с Марком Затуловским и Герцем Цомыком.
В 1946—1952 гг. профессор Тбилисской консерватории, с 1952 г. профессор (позднее заведующий кафедрой фортепиано) Государственного Музыкально-педагогического института имени Гнесиных. Среди учеников Иохелеса, в частности, Олег Майзенберг, Вера Носина и Шимон Рухман, вспоминавший о нём:
