Внук британского предпринимателя, торговавшего с наполеоновской Францией и осевшего в Париже в 1806 г.; семья Смитов жила во Франции, отец музыканта женился на швейцарке, и Гюстав Смит родился во время гостевой поездки родителей в Великобританию. В 1834—1844 гг. занимался (по-видимому, как вольнослушатель) в Парижской консерватории в классе фортепиано Пьера Жозефа Циммермана, однако так и не был официально из неё выпущен, оставив занятия по состоянию здоровья (спустя много лет Смит получил от нового директора консерватории Франсуа Обера рекомендательное письмо об окончании консерваторского курса). Более десятилетия Смит провёл в Марселе, посвятив себя занятиям живописью, совершил путешествия в Германию и Индию, участвовал в вооружённых столкновениях 1848 года, пока в 1856 году не решил изменить свою жизнь, переселившись в Канаду.
Поселившись в Монреале, Смит первоначально работал ассистентом у местного художника, затем женился на дочери одного из коллег и обратился в католичество, вследствие чего начал играть на органе, руководить хором и преподавать музыку в монреальских храмах. Созданное Смитом в этот период элементарное учебное пособие «Музыкальная грамота» (фр. Ab?c?daire musical; 1861) вышло в 1920 году 78-м изданием. Во второй половине 1860-х гг. Смит некоторое время преподавал в Нью-Йорке и Новом Орлеане, а затем обосновался в Оттаве. В 1868—1892 гг. он был органистом оттавской базилики Нотр-Дам, в течение ряда лет руководил собственной музыкальной школой, сотрудничал в качестве музыкального обозревателя с различными канадскими изданиями. Цикл статей «О музыкальном развитии Канады» (фр. Du mouvement musical en Canada), публиковавшийся в 1881—1882 гг. и охватывавший 25-летний период, стал первой работой по истории музыки в Канаде. Смиту также принадлежит ряд других учебных пособий, фортепианные и хоровые сочинения.
