Hermite est né à Dieuze, en Moselle, le 24 décembre 1822, avec une déformation du pied droit qui allait altérer sa démarche tout au long de sa vie. Il était le sixième des sept enfants de Ferdinand Hermite et de son épouse, Madeleine née Lallemand. Ferdinand a travaillé dans l’entreprise de draperie de la famille de Madeleine tout en poursuivant une carrière d’artiste. L’entreprise de draperie déménage à Nancy en 1828, tout comme la famille.
Hermite fait ses études secondaires au Collège de Nancy puis, à Paris, au Collège Henri IV et au Lycée Louis-le-Grand. Il a lu certains des écrits de Joseph-Louis Lagrange sur la solution des équations numériques et les publications de Carl Friedrich Gauss sur la théorie des nombres.
Hermite voulait faire ses études supérieures à l’École Polytechnique, une académie militaire réputée pour son excellence en mathématiques, sciences et ingénierie. Encadré par le mathématicien Eugène Charles Catalan, Hermite consacra une année à se préparer à l’examen d’entrée notoirement difficile. En 1842, il est admis à l’école. Cependant, après un an, l’école ne permettrait pas à Hermite d’y poursuivre ses études à cause de son pied déformé. Il a eu du mal à retrouver son admission à l’école, mais l’administration a imposé des conditions strictes. Hermite n’a pas accepté cela et il a quitté l’École Polytechnique sans avoir obtenu son diplôme.
En 1842, Nouvelles Annales de Mathématiques publièrent la première contribution originale d’Hermite aux mathématiques, une simple preuve de la proposition de Niels Abel concernant l’impossibilité d’une solution algébrique aux équations du cinquième degré.
Une correspondance avec Carl Jacobi, commencée en 1843 et poursuivie l’année suivante, a abouti à l’insertion, dans l’édition complète des travaux de Jacobi, de deux articles d’Hermite, l’un concernant l’extension aux fonctions abéliennes d’un des théorèmes d’Abel sur les fonctions elliptiques, et l’autre concernant la transformation des fonctions elliptiques.
Après avoir passé cinq ans à travailler en privé pour obtenir son diplôme, au cours duquel il se lia d’amitié avec d’éminents mathématiciens Joseph Bertrand, Carl Gustav Jacob Jacobi et Joseph Liouville, il passa et passa les examens du baccalauréat, qu’il reçut en 1847. Il épouse la sœur de Joseph Bertrand, Louise Bertrand, en 1848.
En 1848, Hermite retourne à l’École Polytechnique comme répétiteur et examinateur d’admission. En 1856, il contracta la variole. Sous l’influence d’Augustin-Louis Cauchy et d’une religieuse qui le soignait, il reprit la pratique de sa foi catholique. En juillet 1848, il est élu à l’Académie des Sciences. En 1869, il succède à Jean-Marie Duhamel comme professeur de mathématiques, à la fois à l’École Polytechnique, où il reste jusqu’en 1876, et à l’Université de Paris, où il reste jusqu’à sa mort. De 1862 à 1873, il est chargé de cours à l’École Normale Supérieure. À l’occasion de ses 70 ans, il est promu grand officier de la Légion d’Honneur.
Hermite meurt à Paris le 14 janvier 1901, à l’âge de 78 ans.