Учился в Брюссельской консерватории у Франсуа Жозефа Фети, затем в лондонской Королевской академии музыки. Дебютировал в 1849 г. как пианист, затем на протяжении многих лет был органистом в личной часовне королевы Виктории, а в 1870 г. был назначен Мастером королевской музыки. В 1892 г. возведён в рыцарское достоинство. Одновременно в 1867—1883 гг. руководил концертами лондонского Филармонического общества, дав повод для дискуссии в журнале «The Musical World» о консерватизме репертуара этих концертов и о невостребованности в них творчества английских композиторов. В этом качестве в 1871 г. посетил Будапешт для того, чтобы доставить в Лондон заказанный Филармоническим обществом бюст Бетховена работы Иоганна Непомука Шаллера; состоявшееся при этом знакомство Казинса с Ференцем Листом вызвало поздне?е посвящение Казинсу на песне Листа «Go not, happy day» на стихи Альфреда Теннисона (1879).
Написал ораторию «Гидеон» (1871, на библейский текст), симфонию до мажор (1892), увертюру к ранней пьесе Шекспира «Напрасные усилия любви», фортепианный концерт, фортепианное трио и ряд фортепианных пьес, а также различную церемониальную музыку в рамках исполнения своих придворных обязанностей. Автор монографии об оратории Генделя «Мессия».
