Charlotte Louise Bridges Forten syntyi 17 elokuu 1837 Philadelphiassa Robert Bridges Forten ja Mary Virginia Wood. Charlotten isoisä James Forten, vapaussodan veteraani ja menestynyt purjehtija, oli yksi merkittävimmistä afroamerikkalaisista abolitionisteista Yhdysvalloissa. James ja hänen aktivistivaimonsa Charlotte (Vandine) kouluttivat lapsiaan ja lapsenlapsiaan kotonaan, kun Philadelphian koulut eristettiin. James oli aktiivinen jäsen American Antislavery Society ja hänen vaimonsa ja tyttärensä olivat perustamassa Philadelphia Female Antislavery Society. Forten house Lombard Streetillä isännöi merkittäviä abolitionisteja, kuten Richard Allen, William Lloyd Garrison Ja Samuel J. May. Heidän lapsensa olivat runoilijoita, kasvattajia, keksijöitä ja yrittäjiä.
Charlotten äiti Mary Virginia kuoli hänen ollessaan kolmevuotias. Hänen isoäideistään ja tädeistään tuli hänen sijaisäitejään. Hänen isänsä Robert meni uusiin naimisiin ja jonkin aikaa Charlotte asui maassa uuden perheensä kanssa.
Robert kuitenkin halusi tyttärensä Charlotten saavan opetusta integroiduissa kouluissa, joten abolitionismin ja perheyhteyksien kautta hänet lähetettiin asumaan Remondin perheeseen Salemiin Massachusettsiin, jossa koulut yhdistettiin. Koko hänen elämänsä ajan Philadelphia oli kuitenkin Charlottelle aina koti, jossa hänen perheensä otti hänet vastaan ja tuki häntä.
hänen isoisänsä James Forten syntyi vuonna 1766, afrikkalaista syntyperää olevan philadelphialaisen perheen neljänteen polveen. Hänen isänsä kuoli hänen ollessaan seitsemänvuotias, joten hän auttoi elättämään perheensä hanttihommilla ja sai koulutuksen afrikkalaisessa koulussa. Vallankumouksen aikana hän palveli amerikkalaisessa kaapparilaivassa, joutui vangituksi ja vangituksi. Vapauduttuaan hän matkusti Lontooseen ja työskenteli purjeparvella. Palatessaan Philadelphia hän oppipoikana alle purjemestari, Robert Bridges, lopulta ottaen liiketoiminnan vuonna 1798. Hänestä tuli yksi Uuden tasavallan rikkaimmista afrikkalaistaustaisista miehistä.
Fortenin perhe käytti taloudellista menestystään rahoittaakseen orjia, jotka ostivat vapautensa, sekä tukemalla maanalaista rautatietä. James Forten oli William Lloyd Garrisonin ”The Liberator”-sanomalehden varhainen tukija ja ”värillinen Filadelfialainen” – lehden usein kolumnisti, joka ajoi useita uudistuksia, mutta ei yhtäkään niin raivokkaasti kuin orjuuden lakkauttamista. Hänen vaimonsa Vandine oli myös aktivisti ja heidän poikansa ja tyttärensä seurasivat heidän jalanjälkiään.
Charlotten isä, isoisä ja hänen tätinsä aviomies Robert Purvis kuuluivat komiteaan, joka laati ”Appeal on Behalf of Forty Thousand Disenfrashized African Americans.”Vandinen ja Charlotten tädit Harriet, Margaretta ja Sara toimivat naispuolisten abolitionistiryhmien johtokunnissa ja perustivat ilmaisia yksityiskouluja afroamerikkalaisille lapsille eriytyneeseen Philadelphiaan.