Конноли родился в Бостоне 28 ноября 1868 года. Он был одним из 12 детей в семье Джона и Анна Конноли, ирландских католических эмигрантов из Голуэйя. В детстве, он занимался спортом — играл в американский футбол и занимался лёгкой атлетикой. В 1895 году, он поступил в Гарвардский университет, и на следующий год поехал на грузовом корабле в Афины, чтобы принять участие в I летних Олимпийских играх. Зато, что он поехал туда не спросив разрешения у университета, его отчислили.
Участвуя в играх, он выиграл три медали, в том числе одну золотую. Сначала, 6 апреля, он участвовал в соревновании по тройному прыжку. Он почти на метр обошёл ближайшего соперника из Франции Александра Тюффери, и с результатом в 13,71 м, победил в состязании. Это соревнование проходило раньше других, и Джеймс Конноли стал самым первым Олимпийским чемпионом.
На следующий день, 7 апреля, он соревновался в прыжке в длину. С результатом в 5,84 м, он занял третье место, уступив двум своим соотечественникам Эллери Кларку и Роберту Гаррету. 10 апреля, Конноли принял участие в прыжке в высоту. Он разделил второе место с Гарретом, показав с ним один результат в 1,65 м. Первое место в том состязании занял Кларк.
Через четыре года, Конноли поехал на летние Олимпийские игры в Париже, чтобы защитить свой чемпионский титул. Однако он не смог этого сделать, проиграв только соотечественнику Майеру Принштайну.
В 1906 году, Конноли участвовал в неофициальных летних Олимпийских играх, прошедших в Афинах. Он участвовал в прыжке в длину и тройном прыжке. В первом соревновании он занял 27-е место, а во втором — 18-е.
После игр, Конноли имел много разных профессий — он работал в морских доках, участвовал в Испано-Американской войне, был журналистом (он писал статьи о войне и летних Олимпийских играх 1904 в Сент-Луисе), был автором нескольких романов о море. В 1949 году, Гарвардский университет присвоил ему докторскую степень за его произведения.
Конноли умер в возрасте 88 лет. В его честь, в одном из парков на юге Бостона, поставили его скульптуру, на которой он изображён в момент приземления после прыжка.
