Сын скрипача Карла Фридриха Мюллера и один из четырёх братьев, составлявших второе поколение знаменитого Квартета братьев Мюллеров, выступавшее вместе в 1855—1873 годах. Известен также как виолончелист не менее знаменитого Квартета Йозефа Иоахима, в составе которого играл в 1869—1879 годах. В 1873—1876 годах преподавал в Берлинской Высшей школе музыки, где среди его учеников был, в частности, Роберт Хаусман (сразу после ухода Мюллера сменивший его на преподавательском посту, а три года спустя — и в Квартете Иоахима).
С 1879 года жил и работал в Нью-Йорке, где первое же его выступление вызвало восторженный отзыв «Нью-Йорк Таймс».
