Иоганн был старшим сыном герцога Клевского Иоганна I из дома Ламарк и Елизаветы Неверской. В 1481 году он унаследовал герцогство Клевское и графство Марк. Иоганн основательно разорил герцогскую казну, пытаясь сделать свой двор таким же роскошным, как и Бургундский.
В 1496 году Иоганн вступил в альянс с герцогством Юлих-Берг, чтобы уравновесить союз Бургундии с Габсбургами. Желая укрепить альянс, он женил своего сына Иоганна на единственной дочери герцога Юлих-Бергского Вильгельма. После смерти зятя его сын унаследовал герцогство Юлих-Берг.
В 1489 году Иоганн женился на Матильде Гессенской (1473—1505), дочери ландграфа Гессенского Генриха III. У них было трое детей:
- Иоганн (1490—1539), следующий герцог Клевский;
- Анна (1495—1567), супруга графа Филиппа II Вальдек-Айзенбергского;
- Адольф (1498—1525).
Иоганна прозвали «делатель детей» (нем. der Kindermacher), потому что он имел 63 внебрачных ребенка.
