Charlotte Louise Ponti Forten. era nato il 17 agosto del 1837 a Philadelphia per Robert Ponti Forten. e Maria Virginia Legno. Il nonno di Charlotte, James Forten, un veterano della guerra rivoluzionaria e velaio di successo, era uno dei più importanti abolizionisti afroamericani negli Stati Uniti. James e sua moglie attivista, Charlotte (Vandine), educarono i loro figli e nipoti nella loro casa mentre le scuole di Filadelfia erano segregate. James era un membro attivo della American Antislavery Society e sua moglie e le figlie erano fondatori della Philadelphia Female Antislavery Society. La Forten house di Lombard Street ospitò importanti abolizionisti come Richard Allen, William Lloyd Garrison e Samuel J. May. I loro figli erano poeti, educatori, inventori e imprenditori.
La madre di Charlotte, Mary Virginia, morì quando aveva tre anni. Le sue nonne e zie divennero le sue madri surrogate. Suo padre Robert si risposò e per un certo periodo Charlotte visse in campagna con la sua nuova famiglia.
Tuttavia, Robert voleva che sua figlia Charlotte fosse educata in scuole integrate e così attraverso legami abolizionisti e familiari, fu mandata a vivere con la famiglia Remond di Salem, Massachusetts, dove le scuole erano integrate. Tuttavia, per tutta la sua vita, Philadelphia è sempre stata a casa per Charlotte, dove è stata accolta e sostenuta dalla sua famiglia.
Suo nonno James Forten nacque nel 1766, la quarta generazione di una famiglia di Filadelfia di origine africana. Suo padre morì quando aveva sette anni, quindi aiutò a sostenere la sua famiglia con lavori saltuari e ricevette un’istruzione nella scuola africana. Durante la rivoluzione, prestò servizio su un corsaro americano, fu catturato e imprigionato. Una volta rilasciato, ha viaggiato a Londra e ha lavorato in un loft vela. Tornato a Filadelfia, fece apprendistato presso il velaio Robert Bridges, che alla fine rilevò l’attività nel 1798. Divenne uno degli uomini più ricchi di origine africana nella nuova Repubblica.
La famiglia Forten usò il suo successo finanziario per finanziare gli schiavi che compravano la loro libertà, oltre a sostenere la ferrovia sotterranea. James Forten fu uno dei primi sostenitori del giornale di William Lloyd Garrison ” The Liberator “e un frequente editorialista sotto la linea” A Color Filadelfia”, promuovendo una serie di riforme, ma nessuna così ferocemente come l’abolizione della schiavitù. Sua moglie Vandine era anche un’attivista e i loro figli e figlie hanno seguito le loro orme.
Il padre di Charlotte, il nonno e il marito di sua zia, Robert Purvis, erano membri del comitato che redasse l ‘ “Appello a nome di quarantamila afroamericani diseredati.”Le zie di Vandine e Charlotte Harriet, Margaretta e Sara hanno fatto parte dei consigli di amministrazione di gruppi abolizionisti femminili e hanno fondato scuole private gratuite per bambini afroamericani a Philadelphia segregata.