В 1284 году попал в плен к Педро III, королю Арагона. Ни буллы отлучения Мартина IV, ни поход французов не могли заставить Педро III освободить Карла. Только в 1288 г. Хайме II, после смерти Педро III наследовавший Сицилию, вернул Карлу свободу, выговорив у него заложников и 30 тыс. марок серебра. Вопреки обещанию Карл возобновил борьбу против Арагона.
Хайме II, призванный после смерти старшего брата, Альфонса III, к управлению Арагоном (1291), передачей Сицилии Карлу (1294) хотел заключить мир с Римом, Анжуйским домом и Францией, но одновременно призвал также своего младшего брата Федериго II к управлению Сицилией.
Борьба из-за острова продолжалась до самой смерти Карла.
Семья
Жена — Мария Венгерская (1257—1323), дочь Иштвана (Стефана) V (1239—1272), короля Венгрии (1270—1272). Через нее Анжу-Сицилийский дом получил право на престол Венгрии после пресечения династии Арпадов. Имел 14 детей, из которых примечательны:
- Карл Мартелл (08.09.1271 — 12.08.1295) — был коронован в 1291 г. в качестве короля Венгрии после смерти своего дяди с материнской линии Ласло IV, но фактически не правил (в Венгрии королем был выбран Андраш III). Сын Карла Мартелла Карл I Роберт (1288 — 16.07.1342) сумел добиться венгерской короны, основав Анжуйскую династию, царствовавшую в Венгрии до 1395 г.
- Людовик (09.02.1275 — 19.08.1297) отказался от династических прав ради служения Церкви, закончил жизнь епископом Тулузы. Канонизирован.
- Роберт (1277 + 16/19.01.1343), король Неаполя с 1309 г.
- Филипп (10.11.1278 — 26.12.1332), принц Таранто. По второй жене князь Ахайи и титулярный император Латинской Константинопольской империи. Один из его сыновей Людовик Тарантский (1308 — 25.05.1362) — второй муж и соправитель Джованны I.
- Иоанн (1294 — 05.04.1336), герцог Дураццо. Основанная им линия Анжуйской династии (линия Дураццо) правила Неаполем в 1382—1435 гг. в лице Карла III Малого, Владислава и Джованны II.
- Маргарита (1273 — 31.12.1299) — первая жена Карла Валуа, принесла ему в приданое Анжу и Мэн, мать Филиппа VI, первого короля Франции из династии Валуа.
- Бланка (1280 — 14.10.1310) — жена Хайме II (1267—1327), короля Арагона (1291—1327) и Сицилии (1285—1295)
- Элеонора (1289 — 09.08.1341) — жена Федериго II (1272—1336), короля Сицилии с 1295 г, основателя Сицилийской линии Арагонского дома
- Мария (1290—1347) — жена Санчо I (1276—1324), короля Майорки
