Estuvo inmerso en el medio musical desde temprana edad por influencia de la población latinoamericana de Nueva Orleans. A los 13 años lo enviaron a Francia para estudiar música, volviéndose rápidamente conocido en toda Europa por su virtuosismo en el piano y como compositor de obras complejas.
Regresó a los Estados Unidos en 1853 haciendo una gira por el país, las Indias Occidentales y Sudamérica. Aunque escribió óperas y sinfonías, entre ellas, A Night in the Tropics y À Montevideo, es mejor conocido por sus más de 200 piezas para piano, como Le Bananier, La Bamboula, L'Union, Le Banjo y The Dying Poet.
Fue también el primer pianista norteamericano en conseguir reconocimiento internacional y el primer compositor estadounidense en emplear ritmos y temáticas latinoamericanas y criollas. Una de las causas de esto fue su amistad con Manuel Saumell. Falleció súbitamente de una peritonitis cuando se encontraba de gira en Río de Janeiro.