Родился в семье актеров Николая Хрисанфовича и Паулины Герасимовны Рыбаковых. У них же учился актерскому профессионализму. Дебютировал в 1871 года во Владикавказе и с этого времени играл с отцом во многих городах провинции и в Москве. После смерти отца в 1876 и до 1881 года продолжал актерскую работу в провинциальных антрепризах. В 1881 году (Нелидов дает дату 1883 год – возможно, ошибочно) был приглашен в Москву в Малый театр, где проработал до конца жизни – 30 лет. Начиная актерскую карьеру с героико-романтических ролей, перешел на бытовые. Особое влияние на его творчество оказали пьесы Островского, принёсшие с собой новаторские по тем временам театральные идеи. Среди прочего новая эстетика заключалась и в переносе основной идеи постановки с одного главного героя пьесы на весь состав персонажей, где каждый нес «свою правду» и свои переживания, складывавшиеся в единый ансамбль всех исполнителей спектакля. В Малом театре в разное время прошли все 48 пьес Островского. Из постоянных партнеров Рыбакова надо назвать Гликерию Федотову, которая была среди приверженцев эстетики Островского.
Среди ролей Рыбакова в пьесах Островского: Буланов («Лес», 1876), Кудряш («Гроза»), Громилов - 1-й исполнитель («Таланты и поклонники», 1881), Незнамов («Без вины виноватые», 1884, роль написана Островским специально для Рыбакова), Большов («Свои люди — сочтемся»), Васильков («Бешеные деньги»), Крутицкий («На всякого мудреца довольно простоты»), Прибытков («Последняя жертва»), Юсов («Доходное место»), Кнуров («Бесприданница»); Несчастливцев («Лес»). Особо надо сказать про эту роль Рыбакова:
Среди других ролей: Скалозуб, Горич, Чацкий и потом Фамусов («Горе от ума» Грибоедова); Звездинцев («Плоды просвещения» Л. Толстого), Нелькин (1882 г. «Дело» А. В. Сухово-Кобылина, в 1900 - Варравин), Ревякин («Кручина» Шпажинского); Земляника и Городничий («Ревизор» Гоголя); Олтин ( «Старый закал» Сумбатова).
В конце жизни он был тяжело болен, разбит параличом. Похоронен на Ваганьковском кладбище.
Константину Николаевичу Рыбакову посвящены воспоминания и изыскательские статьи, о нем писали:
- М.Ф. Ленин в книге «Пятьдесят лет в театре», М., 1957;
- Нелидов В.А. в книге «Театральная Москва. Сорок лет московских театров». М. «Материк», 2002;
- Зограф Н.Г. «Малый театр в конце XIX – начале XX века»//К.Н. Рыбаков в роли Городничего;
- Андрей БЕЛКИН, статья «АКТЕРСКАЯ ДИНАСТИЯ РЫБАКОВЫХ» «Тамбовская жизнь», 01.09.2006;
- А.А.Яблочкина «75 ЛЕТ В ТЕАТРЕ» ВЫДАЮЩИЕСЯ МАСТЕРА РУССКОГО ТЕАТРА. МАКШЕЕВ, РЫБАКОВ, САДОВСКИЕ.
