Charlotte Louise Bridges Forten blev født 17. August 1837 i Philadelphia til Robert Bridges Forten og Mary Virginia træ. Charlottes bedstefar, James Forten, en revolutionskrigsveteran og succesrig Sejlmager, var en af de mest fremtrædende afroamerikanske afskaffelsesfolk i USA. James og hans aktivistiske kone, Charlotte (Vandine), uddannede deres børn og børnebørn i deres hjem, da Filadelfias skoler blev adskilt. James var et aktivt medlem af American Antislavery Society, og hans kone og døtre var grundlæggere af Philadelphia Female Antislavery Society. Forten house på Lombard Street var vært for prominente abolitionister som Richard Allen, Vilhelm Lloyd Garrison og Samuel J. May. Deres børn var digtere, undervisere, opfindere og iværksættere.
Charlottes mor, Mary Virginia, døde, da hun var tre. Hendes bedstemødre og tanter blev hendes surrogatmødre. Hendes far Robert giftede sig igen, og i en tid boede Charlotte i landet med sin nye familie.
Robert ønskede dog, at hans datter Charlotte skulle uddannes i integrerede skoler, og gennem afskaffelse og familieforbindelser blev hun sendt til at bo hos Remond-familien i Salem, Massachusetts, hvor skoler blev integreret. Men i hele sit liv var Philadelphia altid hjemme for Charlotte, hvor hun blev hilst velkommen og støttet af sin familie.
hendes bedstefar James Forten blev født i 1766, den fjerde generation af en Philadelphia-familie af afrikansk afstamning. Hans far døde, da han var syv, så han hjalp med at støtte sin familie med ulige job og modtog en uddannelse i Den Afrikanske Skole. Under revolutionen tjente han på en amerikansk privateer, blev fanget og fængslet. Når han blev frigivet, rejste han til London og arbejdede på et sejlloft. Da han vendte tilbage til Philadelphia, lærte han under Sejlmager, Robert Bridges, til sidst at overtage virksomheden i 1798. Han blev en af de rigeste mænd af afrikansk afstamning i Den Nye Republik.
Forten-familien brugte deres økonomiske succes til at finansiere slaver, der købte deres frihed, samt støtte Underground Railroad. James Forten var en tidlig backer af Vilhelm Lloyd Garrisons avis “The Liberator” og en hyppig klummeskribent under by-line “en farvet Philadelphian,” fremme en række reformer, men ingen så voldsomt som afskaffelse af slaveri. Hans kone Vandine var også aktivist, og deres sønner og døtre fulgte i deres fodspor.
Charlottes far, bedstefar og hendes tantes mand, Robert Purvis, var medlemmer af det udvalg, der udarbejdede “appellen på vegne af fyrre tusind Fratagne afroamerikanere.”Vandine og Charlottes tanter Harriet, Margaretta og Sara sad i bestyrelserne for kvindelige afskaffelsesgrupper og grundlagde gratis private skoler for afroamerikanske børn i adskilt Philadelphia.