Родился 28 июля (8 августа) 1776 г. в семье статского советника Александра Ивановича Хвостова и Катерины Алексеевны Хвостовой (Шельтинг). Приходился племянником адмиралу Шишкову, женатому в первом браке на сестре его матери. 6 декабря 1786 г. был определён в Морской кадетский корпус, откуда 1 мая 1790 г. выпущен гардемарином.
В 1792 г. произведён в мичманы, в 1797 г. — в лейтенанты.
Хвостов плавал до 1801 г. на разных судах в Финском заливе, Атлантическом океане и Средиземном море, а в 1802 г. поступил на службу в Русско-американскую компанию. Своей энергией, предприимчивостью и знанием морского дела Хвостов принёс много пользы компании, штурманы которой были крайне неопытны в мореплавании.
В 1806 г., командуя судном «Юнона», он перешёл из Охотска к Сахалину и в губе Анива сжёг японские хлебные магазины «в отмщение Японской империи за отказ, сделанный русскому посольству» (Резанова).
В следующем году, командуя тем же судном и в сопровождении тендера «Авось» под начальством мичмана Давыдова, плавал к Курильским островам и на острове Шана сжёг два японских селения с их магазинами и, отобрав у японцев у острова Мацумая грузовые суда, вернулся в Охотск, но тут был арестован вместе с Давыдовым и отправлен в Петербург, где находился под следствием Адмиралтейств-коллегии, постановившей передать его и Давыдова военному суду.
Между тем Хвостов и Давыдов были командированы в Финляндию в распоряжение главнокомандующего и, командуя лодками, принимали участие в военных действиях против шведов и оказали чудеса храбрости.
На представление главнокомандующего о награждении за отличие Хвостова орденом св. Георгия 4-й степени, а Давыдова — св. Владимира 4-й степени, император Александр I собственноручно написал: «Неполучение награждения в Финляндии послужит сим офицерам в наказание за своевольство против японцев».
4 (16) октября 1809 г. Хвостов и Давыдов провели вечер у академика Лангсдорфа вместе с американским моряком Вульфом, с которым они подружились на Аляске. В два часа ночи, Хвостов и Давыдов, будучи пьяны и пытаясь при помощи проходившей барки перебраться по разведённому Исаакиевскому мосту с Васильевского острова на другую сторону Невы, упали в воду и утонули; их трупы не были найдены.
В честь Хвостова назван остров в составе Алеутского архипелага.
