Hermite se narodil v Dieuze v Moselle 24. prosince 1822 s deformací v pravé noze, která by narušila jeho chůzi po celý život. Byl šestým ze sedmi dětí Ferdinanda Hermita a jeho manželky Madeleine rozené Lallemandové. Ferdinand pracoval v drapériích rodiny Madeleine a zároveň se věnoval kariéře umělce. Obchod se závěsy se přestěhoval do Nancy v roce 1828, stejně jako rodina.
Hermitova získal své středoškolské vzdělání na Collège de Nancy a pak, v Paříži na Collège Henri IV a na Lycée Louis-le-Grand. Četl některé spisy Josepha-Louise Lagrange o řešení numerických rovnic a publikace Carla Friedricha Gausse o teorii čísel.
Hermite chtěl absolvovat vysokoškolské vzdělání na École Polytechnique, vojenské akademii proslulé excelencí v matematice, vědě a strojírenství. Vyučoval matematik Eugène Charles Catalan, Hermite věnoval rok přípravě na notoricky obtížnou přijímací zkoušku. V roce 1842 byl přijat do školy. Po jednom roce však Škola neumožnila Hermitovi pokračovat ve studiu kvůli jeho deformované noze. Snažil se znovu získat vstup do školy, ale administrativa stanovila přísné podmínky. Hermite to nepřijal a opustil École Polytechnique, aniž by promoval.
V roce 1842, Nouvelles Annales de Mathématiques zveřejněna Hermitova je první originální příspěvek k matematice, jednoduchý důkaz, že Niels Abel je tvrzení o nemožnosti algebraické řešení rovnic pátého stupně.
korespondence s Carl Jacobi, začala v roce 1843 a pokračoval další rok, a to mělo za následek vložení, v kompletním vydání Jacobi to funguje, dva články o Hermitova, jeden týkající se rozšíření na Abelovská funkce jedné z vět Abel na eliptické funkce, a jiné, týkající se transformace eliptické funkce.
Poté, co strávil pět let pracoval soukromě k jeho stupeň, v němž se spřátelil s vynikající matematici Joseph Bertrand, Carl Gustav Jacob Jacobi, a Joseph Liouville vzal a složil zkoušky pro baccalauréat, která mu byla udělena v roce 1847. V roce 1848 se oženil se sestrou Josepha Bertranda Louise Bertrand.
V roce 1848, Hermitova vrátil na École Polytechnique jako répétiteur a examinateur d’admission. V roce 1856 se nakazil neštovicemi. Vlivem Augustina-Louise Cauchyho a jeptišky, která ho ošetřovala, obnovil praxi své katolické víry. V červenci 1848 byl zvolen do Francouzské akademie věd. V roce 1869, se mu podařilo Jean-Marie Duhamel jako profesor matematiky na École Polytechnique, kde zůstal až do roku 1876, a na Univerzitě v Paříži, kde zůstal až do své smrti. V letech 1862 až 1873 byl lektorem na École Normale Supérieure. K jeho 70. narozeninám, byl povýšen na velkého důstojníka ve Francouzské čestné legii.
Hermit zemřel 14.ledna 1901 v Paříži ve věku 78 let.