Hermite nacque a Dieuze, nella Mosella, il 24 dicembre 1822, con una deformità al piede destro che ne avrebbe compromesso l’andatura per tutta la vita. Era il sesto dei sette figli di Ferdinand Hermite e di sua moglie, Madeleine nata Lallemand. Ferdinand ha lavorato nel settore dei tendaggi della famiglia di Madeleine, mentre anche perseguire una carriera come artista. L’attività di drapery si trasferì a Nancy nel 1828, e così fece la famiglia.
Hermite ha ottenuto la sua istruzione secondaria al Collège de Nancy e poi, a Parigi, al Collège Henri IV e al Lycée Louis-le-Grand. Ha letto alcuni degli scritti di Joseph-Louis Lagrange sulla soluzione delle equazioni numeriche e le pubblicazioni di Carl Friedrich Gauss sulla teoria dei numeri.
Hermite voleva prendere la sua istruzione superiore presso l’École Polytechnique, un’accademia militare rinomata per l’eccellenza in matematica, scienza e ingegneria. Istruito dal matematico Eugène Charles Catalan, Hermite dedicò un anno alla preparazione per l’esame di ammissione notoriamente difficile. Nel 1842 fu ammesso alla scuola. Tuttavia, dopo un anno la scuola non avrebbe permesso a Hermite di continuare i suoi studi lì a causa del suo piede deformato. Ha lottato per riconquistare la sua ammissione alla scuola, ma l’amministrazione ha imposto condizioni severe. Hermite non ha accettato questo, e ha lasciato l’École Polytechnique senza la laurea.
Nel 1842, Nouvelles Annales de Mathématiques pubblicato Hermite primo contributo originale alla matematica, una semplice prova di Niels Abel’s proposizione riguardante l’impossibilità di una soluzione algebrica di equazioni di quinto grado.
Una corrispondenza con Carl Jacobi, iniziata nel 1843 e proseguita l’anno successivo, ha comportato l’inserimento, in edizione integrale di Jacobi, che le opere di due articoli di Hermite, concernente l’estensione alle funzioni Abeliane di uno dei teoremi di Abele sulle funzioni ellittiche, e l’altro riguardante la trasformazione delle funzioni ellittiche.
Dopo aver trascorso cinque anni di lavoro privato verso la sua laurea, in cui ha fatto amicizia eminenti matematici Joseph Bertrand, Carl Gustav Jacob Jacobi, e Joseph Liouville, ha preso e superato gli esami per il baccalauréat, che è stato assegnato nel 1847. Sposò la sorella di Joseph Bertrand, Louise Bertrand, nel 1848.
Nel 1848, Hermite tornò all’École Polytechnique come répétiteur e examinateur d’admission. Nel 1856 contrasse il vaiolo. Attraverso l’influenza di Augustin-Louis Cauchy e di una suora che lo accudì, riprese la pratica della sua fede cattolica. Nel luglio 1848 fu eletto all’Accademia francese delle Scienze. Nel 1869, succedette a Jean-Marie Duhamel come professore di matematica, sia all’École Polytechnique, dove rimase fino al 1876, sia all’Università di Parigi, dove rimase fino alla sua morte. Dal 1862 al 1873 fu docente all’École Normale Supérieure. Al suo 70 ° compleanno, è stato promosso a grande ufficiale della Legion d’Onore francese.
Hermite morì a Parigi il 14 gennaio 1901, all’età di 78 anni.