После ранней смерти родителей Иоганн воспитывался при дворе дяди, германского короля Альбрехта I. По достижении совершеннолетия неоднократно заявлял о своих правах на габсбургские земли, Чехию, особенно на личное владение его матери (дочери чешского короля Пржемысла Оттокара II), графство Кибург. В соответствии с договором 1283 года отец Иоганна Рудольф II отказался от своих прав на австрийское наследство под обещание брата Альбрехта I передать ему другие территории. Это обещание выполнено не было, поэтому Иоганн вступил в заговор с несколькими верхнешвабскими рыцарями, которые также были недовольны королем.
1 мая 1308 года на берегу реки Рейсс в Швейцарии у городка Виндиш заговорщики атаковали Альбрехта I, отставшего от своей свиты, и убили его, раскроив ему череп. Иоганн смог бежать и избегнуть мести сыновей короля.
Дальнейшая судьба Иоганна не совсем ясна. По одному преданию, он был прощен папой Климентом V и умер августинским монахом в Пизе, по другому — в 1313 году встретился с императором Генрихом VII и просил о прощении, по третьей версии Иоганн жил монахом в замке Эйген и лишь перед смертью, в 1368 году дал себя узнать. Император Генрих VII, вскоре после своего вступления на германский престол, объявил опалу убийце своего предшественника.
История Иоганна Швабского нашла своё отражение в пьесе Шиллера Вильгельм Тель.
