Джулио д’Эсте и кардинал Ипполито (оба братья герцога Альфонсо I д'Эсте), с самого детства были непримиримыми врагами. 2 января 1505 Эрколе д’Эсте, их отец, скончался. Воспользовавшись этим, Ипполито забирает к себе в замок ценного придворного музыканта (своеобразное право на бахвальство того времени). По слухам Джулио позже похитил этого музыканта у своего брата, что, естественно, тотчас вывело из себя Ипполито. Недолго думая, он пользуется своим влиянием и убеждает Альфонсо I изгнать впавшего в немилость брата из герцогства и наложить на него домашний арест.
Позже произошла другая ссора, разгоревшая в братьях ещё большую ненависть друг к другу. Оба влюбились в одну и ту же девушку — Анджелу Борджиа, кузину герцогини Лукреции. Эта стройная и грациозная, притягивающая к себе взгляды мужчин девушка, выбрала Джулио; однажды, отказываясь от ухаживаний Ипполито, Анджела сказала тому: «Монсеньор, одни лишь глаза вашего брата (Джулио) мне более милы и приятны, чем всё ваше существо»… И без того державший великое множество обид на брата, Ипполито теперь и вовсе взбесился — он планировал убить Джулио.
Джулио не имел таких связей, коими располагал его брат-кардинал, а потому, когда последний приказал своим солдатам арестовать, а затем убить Джулио, несчастный не имел ни единого шанса и был абсолютно одинок. Приказ, однако, был выполнен лишь частично, так как Джулио выжил, жестоко избитый и оставшийся без одного глаза. Теперь Джулио задумывал убить Ипполито и Альфонсо (последний также доставил много неприятностей брату). Для этой цели Джулио объединяет свои усилия с третьим братом — Фернандо, который с давних лет мечтал избавиться от Альфонсо и сделаться герцогом. Неизвестно, почему заговорщикам так и не удалось осуществить своих планов: либо они действовали крайне неумело, либо от них попросту отвернулась фортуна; но ни Альфонсо, ни Ипполито не были даже ранены. Четыре раза заговорщики пытались убить герцога, два раза отравленным кортиком, ещё два раза не позволила совершить убийство банальная трусость. Ипполито вскоре раскрыл заговор; Джулио и Фернандо были приговорены к смертной казни, однако затем наказание смягчили в виде пожизненного заключения. В 1506 обоих увезли в замок Эстенсе, в темницах которого они и должны были провести остаток жизни. Фернандо умер, будучи 63-летним стариком; Джулио же, после 53-ёх лет заключения, был освобождён одним из внуков Альфонсо I. Всё это время, проведённое в темнице, узник не общался ни с одним из членов своей династии.
