Несчастьем его жизни была страсть к Магдалине-Сивилле Нейшюц, дочери гвардейского офицера; по суеверию того времени, эту страсть приписывали колдовству. Политическим руководителем Иоганна был Шёнинг, который, желая отвлечь его от увлечения Магдалиной Нейшютц, устроил его брак с вдовствующей маркграфиней Элеонорой Ансбахской, но этот брак не привёл к желанной цели и был очень несчастлив.
Шёнинг старался положить конец эксплуатации Саксонии Австрией и настаивал на поддержке императором прав курфюрста на Лауэнбург, против Бранденбурга. Когда эти требования были отклонены, Иоганн отозвал с Рейна свои войска. Тогда император захватил Шёнинга в Теплице и заключил его в крепость.
Титул имперской графини фон Рохлиц, данный императором Магдалине-Сивилле Нейшюц, склонил, однако, Иоганна к новому союзу с императором. Он выставил 12 тысяч против французов и, при известии о разорении Гейдельберга, сам двинулся к Рейну; но рождение дочери от Магдалины Нейшюц заставило его промедлить, и французы смогли без помех двигаться вперёд. Чрезвычайно расстроенный тем, что маркграф Баденский не признавал его главнокомандующим имперской армией, а также напрасными усилиями освободить Шёнинга, Иоганн IV грозил отозвать свои войска, но заразился оспой от умирающей Нейшюц и умер.
