Начальное музыкальное образование получил в Утрехте (под руководством, в том числе, Рихарда Хола), и, достигнув определённого мастерства в исполнении на фортепиано и органе, был направлен в Кёльнскую консерваторию, где обучался у Изидора Зайсса (фортепиано) и Франца Вюльнера (дирижирование), изучая также орган, сольное пение и композиции. Окончив консерваторию в 1892 году с первыми премиями по дирижированию, фортепиано и композиции, Менгельберг начал работать в качестве дирижёра в Люцерне. Три года спустя по рекомендации Вюльнера он получил место руководителя оркестра Концертгебау в Амстердаме. На последнем концерте своего предшественника на этом посту, Виллема Кеса, Менгельберг выступил как солист в Первом фортепианном концерте Листа, а вскоре сам встал за его пульт, исполнив Пятую симфонию Бетховена. Бессменно руководя оркестром в течение пятидесяти лет, Менгельберг сделав из него коллектив высочайшего класса, вошедший в число ведущих мировых оркестров. Он также регулярно дирижировал концертами во Франкфурте и много гастролировал. В 1899 году накануне Вербного воскресенья под его управлением состоялось исполнение «Страстей по Матфею» Баха, ставшее многолетней традицией. С 1920 Менгельберг выступал в Нью-Йорке, где год спустя возглавил местный филармонический оркестр (с 1927 работал вместе с Артуро Тосканини).
Будучи знакомым с многими современными ему композиторами — Малером, Р. Штраусом, Шёнбергом, Регером, Рахманиновым — Менгельберг активно пропагандировал их сочинения, часто исполняя их в своих концертах. Очень ответственно подходя к вопросам интерпретации произведения, дирижёр почти всегда советовался с авторами, вёл с ними переписку и делал в партитурах подробные заметки по их указаниям. Густав Малер посвятил Менгельбергу и его оркестру свою Пятую симфонию, Сергей Рахманинов — поэму «Колокола», Рихард Штраус — симфоническую поэму «Жизнь героя». В 1920 году под управлением Менгельберга состоялся первый в истории цикл концертов из музыки Малера.
В 1928 году Менгельберг получил почётную степень Колумбийского университета, а в 1934 стал профессором музыки в университете Утрехта. Во время войны дирижёр руководил концертами в Германии и оккупированных странах, но не поддерживал нацистской идеологии. Тем не менее, впоследствии Менгельбергу нередко приписывали сотрудничество с нацистами, и в Нидерландах на его выступления в 1945 году был наложен запрет, не отменённый даже после официального снятия всех обвинений два года спустя. Последние годы жизни Менгельберг провёл в Швейцарии.
Менгельберг стремился показать поэтическое начало в музыке, проявлял большое внимание к нюансам исполнения, тщательно отрабатывая их на репетициях, мастерски владел технической стороной дирижирования и обладал мощной динамической энергией.
