Учился в Московской консерватории у П. И. Чайковского и Н. А. Губерта (композиция). Являлся помощником Николая Рубинштейна по управлению ученическим оркестром. Позже работал помощником управляющего Придворной певческой капеллой и инспектором её Регентских классов. Кленовский был сотрудником Ю. Мельгунова по сбору и обработке русских народных песен. В 1893 Кленовский устроил в Москве концерт, программа которого включала песни разных народностей, им обработанные и изданные впоследствии под заглавием «Этнографический концерт». Деятельность Кленовского в Тифлисе в качестве дирижёра и собирателя грузинских народных песен сыграла заметную роль в развитии музыкальной культуры Грузии. Среди его учеников, в частности, Армен Тигранян.
Его произведения: балеты «Прелести Гашиша» (1885), «Светлана» (1886), «Саланга» (1900), музыка к драматическим сочинениям «Мессалина», «Звезда Севильи», «Антоний и Клеопатра», оркестровая сюита «Миражи», две коронационные кантаты, 2 кантаты к Пушкинским празднествам, сюита для фортепиано, грузинские песни для соло, хора, оркестра, грузинская литургия a capella с грузинским и русским текстами и др.
