Hermite nació en Dieuze, Mosela, el 24 de diciembre de 1822, con una deformidad en su pie derecho que perjudicaría su marcha a lo largo de su vida. Fue el sexto de siete hijos de Ferdinand Hermite y su esposa, Madeleine Lallemand. Ferdinand trabajó en el negocio de cortinas de la familia de Madeleine, mientras que también siguió una carrera como artista. El negocio de las cortinas se trasladó a Nancy en 1828, al igual que la familia.
Hermite obtuvo su educación secundaria en el Collège de Nancy y luego, en París, en el Collège Henri IV y en el Lycée Louis-le-Grand. Leyó algunos de los escritos de Joseph-Louis Lagrange sobre la solución de ecuaciones numéricas y las publicaciones de Carl Friedrich Gauss sobre teoría de números.
Hermite quería cursar sus estudios superiores en la École Polytechnique, una academia militar reconocida por su excelencia en matemáticas, ciencias e ingeniería. Con la tutoría del matemático Eugène Charles Catalan, Hermite dedicó un año a prepararse para el notoriamente difícil examen de ingreso. En 1842 fue admitido en la escuela. Sin embargo, después de un año, la escuela no permitió que Hermite continuara sus estudios allí debido a su pie deforme. Luchó por recuperar su admisión en la escuela, pero la administración impuso condiciones estrictas. Hermite no aceptó esto, y dejó la École Polytechnique sin graduarse.
En 1842, Nouvelles Annales de Mathématiques publicó la primera contribución original de Hermite a las matemáticas, una simple prueba de la proposición de Niels Abel sobre la imposibilidad de una solución algebraica a ecuaciones de quinto grado.
Una correspondencia con Carl Jacobi, que comenzó en 1843 y continuó al año siguiente, resultó en la inserción, en la edición completa de las obras de Jacobi, de dos artículos de Hermite, uno sobre la extensión a las funciones abelianas de uno de los teoremas de Abel sobre las funciones elípticas, y el otro sobre la transformación de las funciones elípticas.
Después de pasar cinco años trabajando en privado para obtener su título, en el que se hizo amigo de eminentes matemáticos Joseph Bertrand, Carl Gustav Jacob Jacobi y Joseph Liouville, tomó y aprobó los exámenes para el bachillerato, que se le otorgó en 1847. Se casó con la hermana de Joseph Bertrand, Louise Bertrand, en 1848.
En 1848, Hermite regresó a la École Polytechnique como répétiteur y examinateur d’admission. En 1856 contrajo la viruela. A través de la influencia de Augustin-Louis Cauchy y de una monja que lo cuidaba, reanudó la práctica de su fe católica. En julio de 1848, fue elegido miembro de la Academia Francesa de Ciencias. En 1869, sucedió a Jean-Marie Duhamel como profesor de matemáticas, tanto en la École Polytechnique, donde permaneció hasta 1876, como en la Universidad de París, donde permaneció hasta su muerte. De 1862 a 1873 fue profesor en la École Normale Supérieure. Al cumplir 70 años, fue ascendido a gran oficial de la Legión de Honor Francesa.
Hermite murió en París el 14 de enero de 1901, a la edad de 78 años.