Был по преимуществу самоучкой, короткое время учился в Париже у Александра Шорона. По возвращении в Кёльн дирижировал любительскими концертами в местном соборе. Затем, однако, Клейна заметил и поддержал Антон Тибо, музыковедческие идеи которого на Клейна заметно повлияли. Благодаря поддержке Тибо Клейн смог отправиться в Берлин, где он учился у Карла Фридриха Цельтера, затем преподавал пение в университете. Благодаря годичному пребыванию в Италии Клейн изучил раннюю хоровую музыку (в частности, наследие Палестрины), претворяя её материал в своих хоровых сочинениях (в которых, однако, современники отмечали и влияние Генделя).
Клейну принадлежит ряд ораторий на библейские темы — «Иов» (нем. Hiob; 1822), «Иевфай» (нем. Jephtha; 1828) и др., оперы «Дидона» (на стихи Людвига Рельштаба, 1823) и «Ариадна» (1824), множество гимнов, романсов и песен.
Дочь Клейна Элизабет вышла замуж за египтолога Карла Рихарда Лепсиуса.
