Сын настройщика фортепиано Альберта Зайденберга (1869—1956) и Любы Зайденберг, эмигрантов из России, перебравшихся из Виннипега в Балтимор в 1907 году. Вырос в предместье Нью-Йорка. С детских лет вместе с братом выступал в кинотеатрах США. В 1919—1921 гг. учился в Парижской консерватории у Андре Эккинга, затем в 1925—1930 гг. в Джульярдской школе. В 1927 г. вошёл в число победителей Наумбурговского конкурса молодых исполнителей.
В 1926—1930 гг. играл в Филадельфийском оркестре, в 1930—1937 гг. в Чикагском симфоническом оркестре, одновременно с 1933 г. возглавлял кафедру виолончели в Чикагском музыкальном колледже и дирижировал небольшими оркестрами Среднего Запада. Как камерный исполнитель выступал, в частности, вместе с Владимиром Горовицем.
В 1943 г. вместе с женой Элинор, бывшей танцовщицей (ученицей Мэри Вигман), Зайденберг перебрался в Нью-Йорк. Отказавшись от места ассистента в Нью-Йоркском филармоническом оркестре (вслед за этим занятого Леонардом Бернстайном), Зайденберг сформировал два собственных музыкальных коллектива — Малый симфонический оркестр Зайденберга и Симфонический оркестр Коннектикута, которые возглавлял в 1947—1953 и 1948—1957 гг. соответственно.
С 1950 г. супруги Зайденберг держали на Манхэттене свою картинную галерею Saidenberg Gallery, некоторое время бывшую официальным представителем Пабло Пикассо в США, выставлявшую также Пауля Клее, Жоржа Брака, Василия Кандинского, Жоана Миро и др.
