Учёба
Учился в тульской гимназии и Московском университете, при котором был оставлен для приготовления к профессорскому званию. Сдав магистерский экзамен по финансовому праву и политической экономии, был отправлен за границу. Вернувшись оттуда, сдал по желанию факультета ещё и магистерский экзамен по полицейскому праву.
Педагогическая деятельность
В 1879 году был выбран в доценты Новороссийского университета (по кафедре энциклопедии права), но лекций по не зависящим от него обстоятельствам (в силу негласного циркуляра министра просвещения Д. А. Толстого, предписывающего не предоставлять Гольцеву места в учебных заведениях) не читал. Избранный в доценты Московского университета, был в феврале 1881 года утвержден в этом звании, но в августе 1882 года подал в отставку.
Литературная деятельность
Был несколько лет товарищем председателя Московского юридического общества, казначеем, а потом секретарем Общества любителей российской словесности.
Был одно время редактором «Юридического вестника», «Русского курьера».
Писал статьи в «Русских ведомостях», «Русской правде», «Голосе» (в последней газете ему, наряду с остальными, принадлежали фельетоны под заглавием «Накануне»), «Вестнике Европы», «Русском богатстве», «Деле», «Артисте», «Вопросах философии и психологии».
Очень деятельно Гольцев работал в «Московском телеграфе» и московском «Светоче».
В «Русской мысли», работая с основания журнала (1880), Гольцев вёл ежемесячное «Политическое обозрение», а с марта 1885 года после смерти С. А. Юрьева стал принимать деятельное участие в её редактировании, став фактически неофициальным главным редактором. С апреля 1905 года Гольцев был объявлен официальным редактором.
При Гольцеве «Русская мысль» окончательно примкнула к прогрессивной журналистике и привлекла к себе главнейших сотрудников только что закрытых тогда «Отечественных записок».
Литературная деятельность Гольцева, проникнутая духом гуманнизма и свободы, была весьма разнообразна: он писал по вопросам права, финансов, воспитания, литературы и искусства, публиковал исследования исторического характера и философские статьи.
Отдельно изданы его «Государственное хозяйство во Франции XVII в.» (1878); «Очерк развития педагогических идей в новое время» (1880); «Законодательство и нравы в России XVIII в.» (1885); «Воспитание, нравственность, право» (Сборник статей, 1889); «Об искусстве» (критические заметки, 1890); «Вопросы дня и жизни» (1893).
После смерти В. А. Гольцева в 1906 году журнал «Русская мысль» возглавил П. Б. Струве.
