Родился в Берлине. По окончании школы, с 1878 по 1883 годы учился профессии фортепьянного мастера. В 1890 году он был выбран председателем профсоюза производителей фортепиано. С 1893 по 1903 являлся редактором социал-демократической газеты «Vorw?rts» («Вперёд»). В 1903 году он был выбран в генеральную комиссию профсоюзов Германии.
В периоды 1893—1898 и 1903—1918 годах Шмидт входил в число депутатов рейхстага Германской империи. А после ноябрьской революции вошёл в состав Веймарского учредительного собрания. Депутатом рейхстага он оставался вплоть до 1930 года.
В кабинете Шейдемана, ему был отведён пост министра продовольствия. В дальнейшем также неоднократно занимал министерские должности, а в правительстве Густава Штреземана Шмидт был вице-канцлером.
