Hermite syntyi Dieuzessa, Mosellessa 24.joulukuuta 1822, ja hänen oikeassa jalassaan oli epämuodostuma, joka haittasi hänen kävelyään koko hänen elämänsä ajan. Hän oli kuudes Ferdinand Hermiten ja hänen vaimonsa Madeleine née Lallemandin seitsemästä lapsesta. Ferdinand työskenteli Madeleinen perheen Kangasalalla ja loi samalla uraa taiteilijana. Kangasliike muutti Nancyyn vuonna 1828, samoin perhe.
Hermite saanut hänen toisen asteen koulutuksen Collège de Nancy ja sitten Pariisissa, Collège Henri IV ja Lycée Louis-le-Grand. Hän luki joitakin Joseph-Louis Lagrangen kirjoituksia numeeristen yhtälöiden ratkaisemisesta ja Carl Friedrich Gaussin julkaisuja lukuteoriasta.
Hermite halusi suorittaa korkeakouluopintonsa École Polytechniquessa, joka on matematiikan, luonnontieteiden ja tekniikan huippuosaamisesta tunnettu sotilasakatemia. Tutored matemaatikko Eugène Charles Catalan, Hermite omistettu vuosi valmistautuu tunnetusti vaikea pääsykoe. Vuonna 1842 hän pääsi kouluun. Kuitenkin yhden vuoden jälkeen koulu ei salli Hermite jatkaa opintojaan siellä, koska hänen epämuodostunut jalka. Hän kamppaili päästäkseen takaisin kouluun, mutta hallinto asetti tiukat ehdot. Hermite ei hyväksynyt tätä, Ja hän lopetti École Polytechnique valmistumatta.
vuonna 1842 Nouvelles Annales de Mathématiques julkaisi Hermiten ensimmäisen alkuperäisen panoksen matematiikkaan, yksinkertaisen todisteen Niels Abelin väitteestä, joka koski algebrallisen ratkaisun mahdottomuutta viidennen asteen yhtälöihin.
Carl Jacobin kanssa vuonna 1843 alkanut ja seuraavana vuonna jatkunut kirjeenvaihto johti siihen, että Jacobin teosten täydellisessä painoksessa oli kaksi Hermiten artikkelia, joista toinen koski Abelin tehtävien laajentamista yhteen Abelin ellipsinmuotoisista funktioista ja toinen ellipsinmuotoisten funktioiden muuntamista.
vietettyään viisi vuotta yksityisesti kohti tutkintoaan, jossa hän ystävystyi arvostettujen matemaatikkojen Joseph Bertrandin, Carl Gustav Jacob Jacobin ja Joseph Liouville, hän otti ja läpäisi kokeet baccalauréatille, jonka hän sai vuonna 1847. Hän meni naimisiin Joseph Bertrandin sisaren Louise Bertrandin kanssa vuonna 1848.
vuonna 1848 Hermite palasi École Polytechniqueen répétiteurina ja examinateur d ’ admissionina. Vuonna 1856 hän sairastui isorokkoon. Augustin-Louis Cauchyn ja häntä hoitaneen nunnan vaikutuksesta hän ryhtyi jälleen harjoittamaan katolista uskoaan. Heinäkuussa 1848 hänet valittiin Ranskan tiedeakatemiaan. Vuonna 1869 hän seurasi Jean-Marie Duhamelia matematiikan professorina sekä École Polytechniquessa, jossa hän oli vuoteen 1876, että Pariisin yliopistossa, jossa hän oli kuolemaansa saakka. Vuosina 1862-1873 hän toimi luennoitsijana École Normale Supérieuressa. Täytettyään 70 vuotta hänet ylennettiin Ranskan Kunnialegioonan suurupseeriksi.
Hermite kuoli 78-vuotiaana Pariisissa 14. Tammikuuta 1901.