Charlotte Louise Bridges Forten nació el 17 de agosto de 1837 en Filadelfia, hija de Robert Bridges Forten y Mary Virginia Wood. El abuelo de Charlotte, James Forten, veterano de la guerra revolucionaria y exitoso fabricante de velas, fue uno de los abolicionistas afroamericanos más prominentes de los Estados Unidos. James y su esposa activista, Charlotte (Vandine), educaron a sus hijos y nietos en su casa mientras las escuelas de Filadelfia estaban segregadas. James fue un miembro activo de la American Antislavery Society y su esposa e hijas fueron fundadores de la Philadelphia Female Antislavery Society. La casa Forten en Lombard Street albergó a abolicionistas prominentes como Richard Allen, William Lloyd Garrison y Samuel J. May. Sus hijos eran poetas, educadores, inventores y empresarios.
La madre de Charlotte, Mary Virginia, murió cuando tenía tres años. Sus abuelas y tías se convirtieron en sus madres sustitutas. Su padre Robert se volvió a casar y por un tiempo Charlotte vivió en el campo con su nueva familia.
Sin embargo, Robert quería que su hija Charlotte fuera educada en escuelas integradas y, por lo tanto, a través de conexiones abolicionistas y familiares, fue enviada a vivir con la familia Remond de Salem, Massachusetts, donde las escuelas se integraron. Sin embargo, a lo largo de su vida, Filadelfia siempre fue el hogar de Charlotte, donde fue bienvenida y apoyada por su familia.
Su abuelo James Forten nació en 1766, la cuarta generación de una familia de ascendencia africana de Filadelfia. Su padre murió cuando tenía siete años, por lo que ayudó a mantener a su familia con trabajos ocasionales y recibió una educación en la Escuela Africana. Durante la revolución, sirvió en un corsario estadounidense, fue capturado y encarcelado. Una vez liberado, viajó a Londres y trabajó en un desván de vela. De regreso a Filadelfia, fue aprendiz del fabricante de velas Robert Bridges, que finalmente se hizo cargo del negocio en 1798. Se convirtió en uno de los hombres de ascendencia africana más ricos de la nueva República.
La familia Forten utilizó su éxito financiero para financiar a los esclavos que compraban su libertad, así como para apoyar el Ferrocarril Subterráneo. James Forten fue uno de los primeros patrocinadores del periódico de William Lloyd Garrison «El Libertador» y un columnista frecuente bajo el lema «Un color de Filadelfia», promoviendo una serie de reformas, pero ninguna tan ferozmente como la abolición de la esclavitud. Su esposa Vandine también era activista y sus hijos e hijas siguieron sus pasos.
El padre de Charlotte, el abuelo y el esposo de su tía, Robert Purvis, fueron miembros del comité que redactó la «Apelación en nombre de Cuarenta Mil Afroamericanos Privados de Derechos.»Las tías de Vandine y Charlotte, Harriet, Margaretta y Sara, sirvieron en las juntas de grupos abolicionistas femeninos y fundaron escuelas privadas gratuitas para niños afroamericanos en la segregada Filadelfia.