Charlotte Louise Bridges Forten est née le 17 août 1837 à Philadelphie de Robert Bridges Forten et Mary Virginia Wood. Le grand-père de Charlotte, James Forten, un vétéran de la guerre d’Indépendance et un voilier prospère, était l’un des abolitionnistes afro-américains les plus en vue aux États-Unis. James et sa femme militante, Charlotte (Vandine), éduquèrent leurs enfants et leurs petits-enfants dans leur maison alors que les écoles de Philadelphie étaient séparées. James était un membre actif de l’American Antislavery Society et sa femme et ses filles ont été les fondatrices de la Philadelphia Female Antislavery Society. La maison Forten sur Lombard Street a accueilli des abolitionnistes de premier plan tels que Richard Allen, William Lloyd Garrison et Samuel J. May. Leurs enfants étaient poètes, éducateurs, inventeurs et entrepreneurs.
La mère de Charlotte, Mary Virginia, est décédée alors qu’elle avait trois ans. Ses grands-mères et ses tantes sont devenues ses mères porteuses. Son père Robert s’est remarié et pendant un certain temps Charlotte a vécu à la campagne avec sa nouvelle famille.
Cependant, Robert voulait que sa fille Charlotte soit éduquée dans des écoles intégrées et, par des liens abolitionnistes et familiaux, elle a été envoyée vivre avec la famille Remond de Salem, Massachusetts, où les écoles ont été intégrées. Cependant, tout au long de sa vie, Philadelphie a toujours été la maison de Charlotte, où elle a été accueillie et soutenue par sa famille.
Son grand-père James Forten est né en 1766, quatrième génération d’une famille de Philadelphie d’origine africaine. Son père est décédé quand il avait sept ans, alors il a aidé à subvenir aux besoins de sa famille avec de petits boulots et a reçu une éducation à l’École africaine. Pendant la révolution, il a servi sur un corsaire américain, a été capturé et emprisonné. Une fois libéré, il s’est rendu à Londres et a travaillé dans un loft à voile. De retour à Philadelphie, il fit son apprentissage auprès du fabricant de voiles Robert Bridges, pour finalement reprendre l’entreprise en 1798. Il est devenu l’un des hommes d’ascendance africaine les plus riches de la nouvelle République.
La famille Forten a utilisé son succès financier pour financer des esclaves achetant leur liberté, ainsi que pour soutenir le chemin de fer clandestin. James Forten fut l’un des premiers soutiens du journal de William Lloyd Garrison « The Liberator » et un chroniqueur fréquent sous la rubrique « A Colored Philadelphian », promouvant un certain nombre de réformes, mais aucune aussi farouchement que l’abolition de l’esclavage. Son épouse Vandine était également une militante et leurs fils et filles ont suivi leurs traces.
Le père, le grand-père et le mari de sa tante, Robert Purvis, étaient membres du comité qui a rédigé l' » Appel au nom de Quarante mille Afro-Américains privés de leurs droits. » Les tantes de Vandine et Charlotte, Harriet, Margaretta et Sara, ont siégé aux conseils d’administration de groupes abolitionnistes féminins et ont fondé des écoles privées gratuites pour les enfants afro-américains à Philadelphie, ségréguée.