Окончил Санкт-Петербургский университет (1885), затем был там же приват-доцентом и одновременно профессором на Высших женских курсах. Его первая специальная работа «Астрономическая теория падающих звезд» (СПб., 1884) была удостоена золотой медали. По завершении обучения занимался интерполированием и приложением теории вероятности к статистике общественной жизни. Его многочисленные статьи по теории падающих звезд были помещены в «Astronomische Nachrichten». В 1887 Клейбер принимал участие в наблюдении полного солнечного затмения; его «Затмение Солнца 7 августа 1887 г.» (популярное издание для народа) выдержало три издания. Напечатал также: «Новый способ извлечения корней какой угодно степени» (Киев, 1891) и «Определение орбит метеорных потоков» (СПб., 1891) — последняя его работа, содержащая более 918 определений элементов орбит падающих звезд. Поместил несколько статей в «Вестнике Европы» («Кембриджский университет», 1890, №№ 9 и 10) и «Русском Богатстве».
Библиотека Клейбера была в 1895 г. передана его вдовой Высшим женским курсам и в 1919 г. включена в состав библиотеки Петроградского университета.
На старом кладбище с. Малый Маяк (Алушта, Крым) под красой мраморной плитой похоронена некая Лилия Иосифовна Клейберъ (1890-1912). Если после смерти Иосифа Андреевича осталась его вдова, то, возможно, Лилия Иосифовна их дочь?
Старое кладбище находится недалеко от бывшей дачи "Саяни" первоначальным владельцем которой был московский промышленник П.П. Шлейден, а потом, вплоть до 1922года, зять Шлейдена общественный деятель, петербуржец Винберг В.К.