Происходя из очень бедной семьи, Леви с детства мечтал играть на трубе, но родители не могли себе позволить ни обучения сына, ни покупки инструмента. В 12 лет Леви купил отдельно мундштук от корнета и начал упражняться, и только в 17-летнем возрасте сумел приобрести у старьёвщика подержанный инструмент. С 1856 г. он играл в духовом оркестре, а с 1860 г. также в одном из лондонских театров в антрактах; уже к этому времени относится одно из первых его сочинений, «Полька-вихрь» (англ. Whirlwind Polka).
В 1861 г. Леви поступил в оркестр Королевской оперы, с 1864 г. начал гастролировать по Европе как солист. В начале 1870-х гг. на протяжении полутора лет работал в России, руководя армейским оркестром в Санкт-Петербурге и имея звания императорского корнетиста; памятником этого периода являются «Великорусская фантазия» Леви и сделанная им обработка для корнета песни Варламова «Красный сарафан». В 1876 г. Леви переселился в США, где играл сперва в оркестре Генри Гилмора — в частности, ежедневно во время Всемирной выставки в Филадельфии, приуроченной к столетию США. В 1878 г. Леви стал, по-видимому, первым в истории музыкантом, чья игра была записана: он встречался с Томасом Эдисоном, опробовавшим свой фонограф. В 1883 гг. он исполнял государственный гимн США на церемонии открытия Бруклинского моста. В том же году фирма музыкальных инструментов Ч. Дж. Конна (C.G. Conn), приглашая Леви представлять свою продукцию, подарила ему корнет, украшенный бриллиантами.
В 1890-е гг. Леви преимущественно преподавал. Среди его учеников были Эдвин Франко Голдман и его собственный сын Джалс Леви младший.
