Charlotte Louise Bruggen Forten werd geboren op 17 augustus 1837 in Philadelphia Robert Bruggen, Forten en Maria Virginia Hout. Charlotte ‘ s grootvader, James Forten, een veteraan uit de Revolutionaire Oorlog en succesvolle zeilmaker, was een van de meest prominente Afro-Amerikaanse abolitionisten in de Verenigde Staten. James en zijn activistische vrouw, Charlotte (Vandine), onderwezen hun kinderen en kleinkinderen in hun huis als scholen Philadelphia werden gescheiden. James was een actief lid van de American Antislavery Society en zijn vrouw en dochters waren oprichters van de Philadelphia Female Antislavery Society. In het Forten house op Lombard Street waren prominente abolitionisten te vinden, zoals Richard Allen, William Lloyd Garrison en Samuel J. May. Hun kinderen waren dichters, opvoeders, uitvinders en ondernemers.Charlotte ‘ s moeder, Mary Virginia, stierf toen ze drie was. Haar grootmoeders en tantes werden haar surrogaatmoeders. Haar vader Robert hertrouwde en Charlotte woonde in het land met zijn nieuwe familie.Robert wilde echter dat zijn dochter Charlotte zou worden opgeleid in geïntegreerde scholen en dus door abolitionistische en familiebanden, werd ze naar de familie Remond van Salem, Massachusetts gestuurd, waar scholen werden geïntegreerd. Echter, gedurende haar leven, Philadelphia was altijd thuis voor Charlotte, waar ze werd verwelkomd en gesteund door haar familie.Haar grootvader James Forten werd geboren in 1766, de vierde generatie van een Philadelphia – familie van Afrikaanse afkomst. Zijn vader stierf toen hij zeven was, dus hielp hij zijn familie te onderhouden met klussen en kreeg een opleiding in de Afrikaanse School. Tijdens de revolutie diende hij op een Amerikaanse kaper, werd gevangen genomen en gevangen genomen. Eenmaal vrijgelaten, reisde hij naar Londen en werkte op een zeilhok. Terug in Philadelphia ging hij in de leer bij de zeilmaker Robert Bridges, die het bedrijf uiteindelijk in 1798 overnam. Hij werd een van de rijkste mannen van Afrikaanse afkomst in de nieuwe republiek.De familie Forten gebruikte hun financiële succes om slaven te financieren die hun vrijheid kochten en om de ondergrondse spoorweg te ondersteunen. James Forten was een vroege financier van William Lloyd Garrison ‘ s krant “The Liberator” en een frequente columnist onder de by-line “a Colored Philadelphian”, het bevorderen van een aantal hervormingen, maar geen zo fel als de afschaffing van de slavernij. Zijn vrouw Vandine was ook een activist en hun zonen en dochters volgden in hun voetsporen.Charlotte ‘ s vader, grootvader en de man van haar tante, Robert Purvis, waren lid van het comité dat de “Appeal namens veertig duizend rechteloze Afro-Amerikanen” opstelde.”Vandine en Charlotte’ s tantes Harriet, Margaretta en Sara dienden in de Raad van bestuur van vrouwelijke abolitionistische groepen en stichtten vrije privéscholen voor Afro-Amerikaanse kinderen in gescheiden Philadelphia.