Переехал в Канаду вместе с родителями в 1910 г., однако затем вернулся в Европу, чтобы учиться игре на скрипке у Эжена Изаи и Отакара Шевчика. Некоторое время Колдофски жил и работал в Чехословакии, играя первую скрипку в струнном квартете под управлением Шевчика, затем вернулся в Торонто, где в 1923—1938 гг. с перерывами играл в Торонтском симфоническом оркестре. В 1938—1942 гг. Колдофски был второй скрипкой Харт-Хаус-квартета. Одновременно Колдофски работал над расшифровкой нотных рукописей Карла Филиппа Эммануила Баха, оказавшихся в Торонто в частном собрании; в 1943 г. он осуществил в качестве дирижёра цикл из семи радиотрансляций, в ходе которых пять клавирных концертов К. Ф. Э. Баха были впервые исполнены после полуторавекового перерыва (солировала Ванда Ландовска).
В 1945 г. Колдофски вместе с женой, пианисткой Гвендолин Уильямс Колдофски, переехал в Лос-Анджелес. Наиболее значительным музыкальным событием последних лет его жизни стало осуществлённое им премьерное исполнение двух поздних произведений Арнольда Шёнберга, Струнного трио (op. 45) и Фантазии для скрипки с фортепиано (op. 47), посвящённых Колдофски, — этот концерт был приурочен к 75-летию композитора.
