Получил первые уроки у своего отца, органиста и директора школы, затем учился в Оффенбахе у Иоганна Антона Андре. Впервые выступил как пианист в 1810 г. Вместе со своим учителем Андре руководил оффенбахским мужским хором, для которого сочинил около 30 кантат. Затем работал в Мюнхене, Берлине, придворным органистом в Ганновере (1826—1829), а затем обосновался во Франкфурте, в 1834 г. стал одним из основателей городского филармонического общества. В 1850 г. удостоен почётной докторской степени в Гиссенском университете.
Шмитт написал четыре оперы, оратории «Моисей» и «Руфь», множество симфонических, хоровых и камерных сочинений, однако преимущественно он был признанным педагогом. Его учениками были Фердинанд Хиллер, Карл Вильгельм, Карл Альменредер, Бертольд Дамке, Карл Вольфсон. Известен, в частности, отзывом (в письме к своему ученику Хиллеру) о сочинениях 17-летнего Франца Листа, сводившимся к тому, что у Листа совершенно нет способностей к композиции.
