Charlotte Louise Pontes Forten nasceu em 17 de agosto de 1837, na Filadélfia, para Robert Pontes Forten e Maria Virgínia de Madeira. O avô de Charlotte, James Forten, um veterano da Guerra Revolucionária e Veleiro de sucesso, foi um dos mais proeminentes abolicionistas afro-americanos nos Estados Unidos. Jaime e sua esposa ativista, Charlotte (Vandine), educaram seus filhos e netos em sua casa como escolas da Filadélfia foram segregadas. James era um membro ativo da Sociedade Americana anti-escravidão e sua esposa e filhas foram fundadoras da sociedade feminina anti-escravidão da Filadélfia. A Forten house na rua Lombard acolheu proeminentes abolicionistas como Richard Allen, William Lloyd Garrison e Samuel J. May. Seus filhos eram poetas, educadores, inventores e empreendedores.A mãe de Carlota, Mary Virginia, morreu aos três anos. As avós e tias dela tornaram-se mães substitutas. O seu pai, Robert, voltou a casar e durante algum tempo a Charlotte viveu no campo com a sua nova família.No entanto, Robert queria que a sua filha Carlota fosse educada em escolas integradas e, por isso, através de ligações abolicionistas e familiares, foi enviada para viver com a família Remond de Salem, Massachusetts, onde as escolas foram integradas. No entanto, ao longo de sua vida, Filadélfia foi sempre o lar de Carlota, onde ela foi acolhida e apoiada por sua família.Seu avô James Forten nasceu em 1766, a quarta geração de uma família de ascendência africana na Filadélfia. Seu pai morreu quando ele tinha sete anos, então ele ajudou a sustentar sua família com empregos estranhos e recebeu uma educação na escola Africana. Durante a revolução, ele serviu em um corsário americano, foi capturado e preso. Uma vez libertado, viajou para Londres e trabalhou num veleiro. Retornando à Filadélfia, ele foi aprendiz de veleiro, Robert Bridges, eventualmente assumindo o negócio em 1798. Tornou-se um dos homens mais ricos de ascendência africana na nova República.
a família Forten usou seu sucesso financeiro para financiar escravos comprando sua liberdade, bem como apoiar a ferrovia subterrânea. James Forten foi um dos primeiros apoiadores do jornal “The Liberator” de William Lloyd Garrison e um colunista freqüente sob a linha “a Colored Philadelphian”, promovendo uma série de reformas, mas nenhuma tão ferozmente como a abolição da escravidão. Sua esposa Vandine também era uma ativista e seus filhos e filhas seguiram seus passos.O pai de Carlota, avô e marido de sua tia, Robert Purvis, eram membros do comitê que redigiu o “apelo em nome de quarenta mil afro-americanos sem direito de voto”. As tias de Vandine e Charlotte Harriet, Margaretta e Sara serviram nos conselhos de grupos abolicionistas femininos e fundaram escolas privadas livres para crianças afro-americanas na Filadélfia segregada.