Hermite wurde am 24.Dezember 1822 in Dieuze an der Mosel mit einer Deformität des rechten Fußes geboren, die seinen Gang sein ganzes Leben lang beeinträchtigen würde. Er war das sechste von sieben Kindern von Ferdinand Hermite und seiner Frau Madeleine née Lallemand. Ferdinand arbeitete im Vorhanggeschäft von Madeleines Familie und verfolgte gleichzeitig eine Karriere als Künstler. Das Draperie-Geschäft zog 1828 nach Nancy um, ebenso wie die Familie.
Hermite erhielt seine Sekundarausbildung am Collège de Nancy und dann in Paris am Collège Henri IV und am Lycée Louis-le-Grand. Er las einige von Joseph-Louis Lagrange Schriften über die Lösung numerischer Gleichungen und Carl Friedrich Gauß Publikationen zur Zahlentheorie.
Hermite wollte seine höhere Ausbildung an der École Polytechnique absolvieren, einer Militärakademie, die für herausragende Leistungen in Mathematik, Naturwissenschaften und Ingenieurwesen bekannt ist. Unter Anleitung des Mathematikers Eugène Charles Catalan widmete Hermite ein Jahr der Vorbereitung auf die notorisch schwierige Aufnahmeprüfung. 1842 wurde er in die Schule aufgenommen. Nach einem Jahr erlaubte die Schule Hermite jedoch nicht, sein Studium dort wegen seines deformierten Fußes fortzusetzen. Er kämpfte darum, seine Zulassung zur Schule wiederzugewinnen, aber die Verwaltung stellte strenge Bedingungen. Hermite akzeptierte dies nicht und verließ die École Polytechnique ohne Abschluss.
1842 veröffentlichte Nouvelles Annales de Mathématiques Hermites ersten ursprünglichen Beitrag zur Mathematik, einen einfachen Beweis für Niels Abels Vorschlag über die Unmöglichkeit einer algebraischen Lösung von Gleichungen fünften Grades.
Eine Korrespondenz mit Carl Jacobi, im Jahre 1843 begonnen und im nächsten Jahr fortgesetzt, führte zur Einfügung, in der Gesamtausgabe von Jacobis Werken, von zwei Artikeln von Hermite, eine über die Erweiterung der Abelschen Funktionen eines der Theoreme von Abel auf elliptische Funktionen, und die andere über die Transformation von elliptischen Funktionen.
Nach fünf Jahren privater Arbeit an seinem Abschluss, in dem er sich mit den bedeutenden Mathematikern Joseph Bertrand, Carl Gustav Jacob Jacobi und Joseph Liouville anfreundete, legte er die Prüfungen für das Baccalauréat ab, das er 1847 erhielt. Er heiratete 1848 Joseph Bertrands Schwester Louise Bertrand.
1848 kehrte Hermite als répétiteur und examinateur d’admission an die École Polytechnique zurück. 1856 erkrankte er an Pocken. Durch den Einfluss von Augustin-Louis Cauchy und einer Nonne, die ihn pflegte, nahm er die Ausübung seines katholischen Glaubens wieder auf. Im Juli 1848 wurde er in die Französische Akademie der Wissenschaften gewählt. 1869 folgte er Jean-Marie Duhamel als Professor für Mathematik, sowohl an der École Polytechnique, wo er bis 1876 blieb, als auch an der Universität von Paris, wo er bis zu seinem Tod blieb. Von 1862 bis 1873 war er Dozent an der École Normale Supérieure. An seinem 70.Geburtstag wurde er zum Großoffizier der französischen Ehrenlegion befördert.
Hermite starb am 14.Januar 1901 im Alter von 78 Jahren in Paris.