Учился в Одесской консерватории у Наума Блиндера, затем в Париже у Жака Тибо. В 1924 г. вернулся в Одессу и занял пост концертмейстера в оркестре Одесского оперного театра. Однако в 1926 г. оставил Одессу, теперь уже навсегда.
Сперва Ортенберг обосновался в Берлине, где возглавил собственный струнный квартет. После прихода к власти нацистов в 1933 г. перебрался в Париж, где выступал под именем Эдгар Ортамбер (фр. Edgar Ortambert), в 1937 г. получил французское гражданство. Руководил различными камерными составами (Квартет Ортамбера, Трио Ортамбера), во главе которых записал, в частности, трио-сонаты Иоганна Себастьяна Баха и Георга Филиппа Телемана, трио Франца Шуберта и Хоакина Турины.
После нацистского вторжения во Францию в 1940 г. бежал через Португалию в Нью-Йорк. В 1944—1949 гг. играл вторую скрипку в Будапештском квартете. С 1949 г. и до 1988 г. преподавал в Филадельфии.
