Сын трамвайного кондуктора, еврейского иммигранта из Германии. Учился у профессора Музыкального колледжа Цинциннати Ромео Горно, затем в Берлине у Леопольда Годовского. Играл в фортепианном трио с Антоном Эккингом и Альфредом Виттенбергом. В 1913 г. вернулся в США и поселился в Нью-Йорке, выступал вместе с Нью-Йоркским филармоническим оркестром под управлением Виллема Менгельберга и Нью-Йоркским симфоническим оркестром под управлением Вальтера Дамроша. В 1916 г. Адлер женился на своей ученице Эльзе Адриенне Ричард (англ. Elsa Adrienne Richard; 1895—1989) и вместе с ней приобрёл дом близ городка Лейк-Плэсид, который супруги начиная с 1924 г. превратили в летнюю частную музыкальную школу под названием Ka-ren-i-o-ke, что на языке ирокезов означало «место прекрасной песни». В этой музыкальной школе у четы Адлеров занимались и/или выступали многие выдающиеся музыканты, в том числе Аарон Копленд.
Сын Адлеров — композитор бродвейских мюзиклов Ричард Адлер.
