Учился в Одессе у Петра Столярского, затем в Московской консерватории у Николая Мясковского (композиция), Абрама Ямпольского (скрипка) и Константина Сараджева (дирижирование).
С 1948 г. преподавал в различных музыкальных учебных заведениях Москвы. Из-за травмы левой руки постепенно переключился, главным образом, на композицию, причём мистификаторского свойства. Гольдштейном, в частности, были сочинены Симфония № 21 вымышленного украинского композитора Николая Овсянико-Куликовского, Концерт для альта с оркестром Ивана Хандошкина, «Экспромт» Милия Балакирева и др. Эти сочинения исполнялись и записывались видными советскими музыкантами. В 1963 году Гольдштейн выиграл сразу три приза Всесоюзного конкурса композиторов за произведения для скрипки и виолончели — произведения были представлены на конкурс под псевдонимами.
В 1964 г. Гольдштейн, к которому его мистификаторская деятельность привлекла в конце концов негативное внимание, уехал преподавать в Восточный Берлин, откуда затем получил возможность перебраться в Вену и таким образом эмигрировать. В итоге он поселился в Гамбурге, где с 1969 г. преподавал в Гамбургской Высшей школе музыки. Он также активно сотрудничал с украинской эмигрантской прессой, и писал для нее статьи на музыкальные темы под псевдонимом «Михайло Михайлов». В последние годы жил в городке Квикборн.
Симфония Овсянико-Куликовского
Наиболее известной мистификацией Гольдштейна была Симфония № 21 Николая Овсянико-Куликовского. По воспоминаниям Гольдштейна, на сочинение этого произведения его натолкнули беседы с Исааком Дунаевским и театроведом Всеволодом Чаговцом. Сочинив стилизацию под музыку рубежа XVIII—XIX веков, Гольдштейн приписал её помещику Овсянико-Куликовскому, деду филолога Дмитрия Овсянико-Куликовского, державшему в Одессе крепостной оркестр и в 1810 г. подарившему его оперному театру.
Произведение Овсянико-Куликовского, как утверждает Гольдштейн, пришлось как нельзя более кстати в обстановке рубежа 1940-50-х гг., когда советская культурная политика была направлена на утверждение собственных оригинальных источников. Симфония исполнялась ведущими советскими музыкальными коллективами — в частности, её записал Симфонический оркестр Ленинградской филармонии под управлением Евгения Мравинского. По настоятельным требованиям музыковеда Валериана Довженко, опубликовавшего об Овсянико-Куликовском статью и намеревавшегося писать книгу, Гольдштейн даже придумал композитору чуть более подробную биографию — в частности, годы жизни (1768—1846). Статья об Овсянико-Куликовском была включена во второе издание Большой советской энциклопедии.
В 1959 г. мистификация была публично разоблачена в фельетоне Яна Полищука в «Литературной газете».
