Начало династии положил сын витебского раввина Евзель Гинцбург (1812—1878), сделавший состояние, занимаясь торговлей и винными откупами.
Перебравшись в столицу, он с сыновьями Горацием и Урием основал банкирский дом — «И. Е. Гинцбург» с филиалом в Париже. Благодаря связям с крупнейшими финансистами Европы (Гинцбурги были в родстве и с Ротшильдами), банк к 1860-му стал одним из крупнейших в России.
В 1874 году выступил в числе совладельцев Березовского золотопромышленного дела вместе с полковником В. И. Асташевым, графом П. А. Шуваловым и являлся товарищем-распорядителем Березовского дела. Гинцбургам принадлежало 100 паев из 400 данного товарищества.
Он также был активным участником Миасского золотопромышленного дела В. И. Асташева.
Кроме этого, Гинцбурги были в числе учредителей Киевского частного коммерческого банка, Одесского Учетного банка, владели Товариществом Могилянского свекло-сахарного завода, владевшего сахарным заводом и сельхозугодьями в в Подольской губернии. В 1892 году банкирский дом Гинцбурга попал в полосу глубокого кризиса. Правительство отказалось поддержать оказавшийся в долгах банк и ввело в нём временную администрацию, Гинцбурги потеряли интерес к банковскому делу и переключились на золотодобычу.
Гораций Гинцбург возглавил, а затем установил контроль над богатейшим Ленским золотопромышленным товариществом. Эстафету подхватили сыновья Горация — Александр (барон, отставной корнет, директор Правлений: Ленского золотопромышленного товарищества, Компании цепного пароходства по реке Щексне, Общества "Платина", член Правлений: Алтайского золотопромышленного товарищества, Товарищества Могилянского свекло-сахарного завода), Альфред, Владимир и Давид (барон, статский советник, директор Правления Компании цепного пароходства по реке Щексне, член Правления Волжко-Каспийского нефтяного и торгового Общества, Товарищества Могилянского свекло-сахарного завода). Под контролем семейного клана находилось около десятка крупных компаний — в основном, горнодобывающих. После ленского расстрела 1912 года всё правление компании ушло в отставку — так закончился золотой век Гинцбургов, в 1917 году покинувших Россию.
Гораций Гинцбург — меценат был широко известен своей благотворительной деятельностью.
