Сын архитектора, изучал архитектуру в Штутгарте и Мюнхене, однако брал и частные уроки музыки у Макса Регера, рекомендовавшего Келлеру обратиться к профессиональной музыкальной карьере. С 1910 г. работал органистом в городской церкви Веймара и преподавал в Веймарской консерватории. С 1916 г. в Штутгарте, был органистом в церкви Святого Марка, преподавателем в Штутгартской консерватории, в 1928—1933 гг. возглавлял в ней отделение церковной и школьной музыки. После Второй мировой войны был директором Штутгартской Высшей школы музыки (1946—1952).
Келлер был, в первую очередь, специалистом по творчеству Иоганна Себастьяна Баха и сыграл большую роль в исследовании и публикации баховского наследия. Учеником Келлера был, в частности, Гельмут Риллинг.
