Окончил колледж в Амхёрсте, в 1874—1877 гг. работал там же библиотекарем, разрабатывая десятичную (цифровую) систему библиотечно-библиографической классификации. Затем переехал в Бостон, где основал первый американский библиотечный журнал «Library Journal» (выходит по сей день). В 1876 г. в качестве одного из соучредителей участвовал в первом съезде Американской библиотечной ассоциации.
В 1884 г. Дьюи основал при Колумбийском университете Колумбийскую школу библиотечного дела (англ. Columbia School of Library Economy) — первое в мире специализированное образовательное учреждение по подготовке библиотекарей.
В 1888—1906 гг. Дьюи возглавлял библиотеку штата Нью-Йорк (), а в 1888—1900 гг. ведал также библиотекой университета штата.
