Hermite werd geboren in Dieuze, Moezel, op 24 December 1822, met een misvorming in zijn rechtervoet die zijn gang gedurende zijn hele leven zou belemmeren. Hij was de zesde van zeven kinderen van Ferdinand Hermite en zijn vrouw Madeleine Lallemand. Ferdinand werkte in de draperiebusiness van madeleines familie, terwijl hij ook een carrière als kunstenaar nastreefde. In 1828 verhuisde het bedrijf naar Nancy, net als de familie.
Hermite behaalde zijn middelbare school aan het Collège de Nancy en vervolgens in Parijs aan het Collège Henri IV en aan het Lycée Louis-le-Grand. Hij las Enkele van Joseph-Louis Lagrange ’s geschriften over de oplossing van numerieke vergelijkingen en Carl Friedrich Gauss’ publicaties over de getaltheorie. Hermite wilde een hogere opleiding volgen aan de École Polytechnique, een militaire academie die bekend staat om zijn uitmuntendheid in wiskunde, wetenschap en techniek. Onder leiding van wiskundige Eugène Charles Catalan, wijdde Hermite een jaar aan de voorbereiding van het notoir moeilijke toelatingsexamen. In 1842 werd hij toegelaten tot de school. Echter, na een jaar zou de school Hermite niet toestaan om zijn studie daar voort te zetten vanwege zijn misvormde voet. Hij worstelde om zijn toelating tot de school terug te krijgen, maar de administratie stelde strikte voorwaarden. Hermite accepteerde dit niet, en hij verliet de École Polytechnique zonder zijn diploma te behalen.In 1842 publiceerde Nouvelles Annales de Mathématiques Hermites eerste originele bijdrage aan de wiskunde, een eenvoudig bewijs van Niels Abels stelling over de onmogelijkheid van een algebraïsche oplossing voor vergelijkingen van de vijfde graad.Een correspondentie met Carl Jacobi, begonnen in 1843 en het jaar daarop voortgezet, resulteerde in de invoeging, in de volledige editie van Jacobi ‘ s werken, van twee artikelen van Hermite, één over de uitbreiding tot abelse functies van een van de stellingen van Abel over elliptische functies, en de andere over de transformatie van elliptische functies.Na vijf jaar privé te hebben gewerkt voor zijn graad, waarin hij bevriend raakte met vooraanstaande wiskundigen Joseph Bertrand, Carl Gustav Jacobi en Joseph Liouville, nam hij de examens af voor het baccalauréat, dat hij in 1847 kreeg. Hij trouwde in 1848 met de zus van Joseph Bertrand, Louise Bertrand.In 1848 keerde Hermite terug naar de École Polytechnique als répétiteur en examinateur d ‘ admission. In 1856 kreeg hij pokken. Onder invloed van Augustin-Louis Cauchy en een non die hem verzorgde, hervatte hij de praktijk van zijn katholieke geloof. In juli 1848 werd hij verkozen tot lid van de Franse Academie van Wetenschappen. In 1869 volgde hij Jean-Marie Duhamel op als hoogleraar wiskunde, zowel aan de École Polytechnique, waar hij bleef tot 1876, als aan de Universiteit van Parijs, waar hij bleef tot zijn dood. Van 1862 tot 1873 was hij docent aan de École Normale Supérieure. Op zijn 70ste verjaardag werd hij gepromoveerd tot Grootofficier in het Franse Legioen van Eer.Hermite overleed in Parijs op 14 januari 1901, 78 jaar oud.