Charlotte Louise Bridges Forten föddes 17 augusti 1837 i Philadelphia till Robert Bridges Forten och Mary Virginia Wood. Charlottes farfar, James Forten, en veteran från revolutionskriget och framgångsrik segelmakare, var en av de mest framstående afroamerikanska avskaffarna i USA. James och hans aktivistfru, Charlotte (Vandine), utbildade sina barn och barnbarn i sitt hem när Philadelphias skolor var segregerade. James var en aktiv medlem av American Antislavery Society och hans fru och döttrar var grundare av Philadelphia Female Antislavery Society. Forten house på Lombard Street var värd för framstående avskaffande som Richard Allen, William Lloyd Garrison och Samuel J. May. Deras barn var poeter, lärare, uppfinnare och entreprenörer.
Charlottes mor, Mary Virginia, dog när hon var tre. Hennes mormor och moster blev hennes surrogatmödrar. Hennes far Robert gifte sig igen och för en tid bodde Charlotte i landet med sin nya familj.
Robert ville dock att hans dotter Charlotte skulle utbildas i integrerade skolor och så genom avskaffande och familjeförbindelser skickades hon för att bo hos Remond-familjen i Salem, Massachusetts, där skolor integrerades. Men under hela sitt liv var Philadelphia alltid hemma för Charlotte, där hon välkomnades och stöddes av sin familj.
hennes farfar James Forten föddes 1766, den fjärde generationen av en Philadelphia-familj av afrikansk härkomst. Hans far dog när han var sju, så han hjälpte till att stödja sin familj med udda jobb och fick en utbildning i den afrikanska skolan. Under revolutionen tjänade han på en amerikansk privatperson, fångades och fängslades. När han släpptes reste han till London och arbetade på ett segelloft. När han återvände till Philadelphia lärde han sig under segelmakaren Robert Bridges och tog så småningom över verksamheten 1798. Han blev en av de rikaste männen av afrikansk härkomst i den nya republiken.
familjen Forten använde sin ekonomiska framgång för att finansiera slavar som köpte sin frihet, samt stödja tunnelbanan. James Forten var en tidig stödjare av William Lloyd Garrisons tidning ” The Liberator ”och en frekvent kolumnist under linjen” a Colored Philadelphian”, som främjar ett antal reformer, men ingen så hårt som avskaffandet av slaveri. Hans fru Vandine var också aktivist och deras söner och döttrar följde i deras fotspår.
Charlottes far, farfar och hennes mosters make, Robert Purvis, var medlemmar i utskottet som utarbetade ”överklagandet på uppdrag av fyrtio tusen Disenfranchised afroamerikaner.”Vandine och Charlottes mostrar Harriet, Margaretta och Sara tjänstgjorde i styrelserna för kvinnliga avskaffande grupper och grundade gratis privata skolor för afroamerikanska barn i segregerade Philadelphia.