Родился 18 июня 1753 года в селе Кежово Гдовского уезда Санкт-Петербургской губернии. Получив образование в академической гимназии, он в 1772 году поступил на службу в коллегию иностранных дел, а потом, при генерал-прокуроре князе А. А. Вяземском, был секретарём в Сенате.
В 1779 году перешёл в военную службу и с 22 сентября того же года состоял подполковником во 2-м батальоне Лифляндского егерского корпуса.
В русско-турецкую войну, с 1788 года командуя в чине полковника Троицким пехотным полком, отличился при взятии крепости Измаила в 1790 году, одним из первых взойдя на стену, за что 25 марта 1791 года был награждён орденом св. Георгия 4-й степени (№ 419 по кавалерскому списку Судравского и № 806 по списку Григоровича—Степанова)
По заключении мира в Яссах, Хвостов в начале 1793 года был назначен в Константинополь поверенным в делах и оставался в этой должности до февраля 1794 года, когда, с производством в бригадиры, был заменен чрезвычайным посланником и полномочным министром В. П. Кочубеем.
Вернувшись в Россию, Хвостов приказом императора Павла I от 22 мая 1797 года был исключен из службы «за неприбытие к полку» и только со вступлением на престол императора Александра I 23 апреля 1801 года снова принят на службу с производством в действительные статские советники.
В 1804 году Хвостов был произведён в тайные советники и назначен советником Государственного заемного банка, а вскоре за тем и управляющим и занимал эту должность до конца своей жизни.
В молодости Хвостов занимался переводами с разных языков и начиная уже с 1770 года, печатал эти свои юношеские труды; так, еще на школьной скамье он перевёл с латинского комедию Теренция «Андриянка» (СПб., 1773), с немецкого — из географии Бюшинга отдел «Португалия» (СПб., 1772), с французского комедию в одном действии «Любопытные оборотни» (1770) и повесть «Ножка Фаншетина, или Сирота французская» (1774). Кроме этих переводов, Хвостов в литературе известен более по преданию, как счастливый острослов и тонкий эпикуреец, нежели по своим сочинениям, из которых только два обратили на себя внимание потомства, а именно: шуточная ода «К бессмертию» («Хочу к бессмертью приютиться»), напечатанная в «Собеседнике любителей российского слова» (т. X, с. 165), и «Послание к творцу послания», то есть к Фонвизину, приведённое князем П. А. Вяземским в биографии Фонвизина.
Ещё во время своей службы в сенате Хвостов сблизился с Державиным, и их дружеские отношения не изменялись и впоследствии; Державин не раз показывал ему, как и А. В. Храповицкому, свои поэтические опыты и был обоим обязан полезными в этом деле советами; так, еще в 1808 году он переслал Хвостову в рукописи на просмотр свою трагедию «Ирод и Мариамна», при особом послании.
Уже в 1793 году Хвостов был избран в члены Российской академии, а в 1811 году, при учреждении «Беседы любителей российского слова», сделан председателем 3-го её разряда.
Его родной брат Василий был Томским губернатором. Обер-прокурор Святойшего Синода писатель граф Д. И. Хвостов приходился Александру Семёновичу двоюродным братом.
Хвостов умер в Санкт-Петербурге 14 июня 1820 года, похоронен на Смоленском православном кладбище. Перезахоронен в некрополе Александро-Невской лавры.
