Член Товарищества передвижных художественных выставок, Союза русских художников, академик петербургской Академии художеств. Друг П. М. Третьякова, один из руководителей Третьяковской галереи.
Из купеческой семьи, учился живописи частным образом.
Коллекционировал живопись, иконы. Собрание икон Остроухова считалось одним из лучших в России.
В 1890 году открыл частный музей. В 1918 году музей был национализирован, а Остроухов назначен его пожизненным хранителем. С 1920 года назывался «Музей иконописи и живописи имени И. С. Остроухова». После смерти хранителя музей расформирован, а его фонды разошлись по музеям. Значительная часть коллекции икон Остроухова находится в собрании отдела древнерусского искусства Третьяковской галереи.
Похоронен на Даниловском кладбище в Москве.
Ныне в мемориальном доме художника и коллекционера Остроухова расположен музей «Русская литература XX века». В музее организуют сменные выставки по истории литературы XX века и выставки художников, связанных с литературой. За 15 лет существования музея создано более 200 литературных выставок о литераторах «серебряного века», в том числе об О. Мандельштаме, А. Ахматовой, С. Есенине, В. Маяковском, Н. Бердяеве. Музей участвовал в выставке «Москва — Берлин», «Булгаков» (Париж), «Мандельштам» (Париж). Здание музея — особняк XIX века.
