Charlotte Louise Bridges Forten wurde am 17.August 1837 in Philadelphia als Tochter von Robert Bridges Forten und Mary Virginia Wood geboren. Charlottes Großvater, James Forten, ein Veteran des Unabhängigkeitskrieges und erfolgreicher Segelmacher, war einer der prominentesten afroamerikanischen Abolitionisten in den Vereinigten Staaten. James und seine aktivistische Frau Charlotte (Vandine) erzogen ihre Kinder und Enkelkinder in ihrem Haus, da die Schulen in Philadelphia getrennt waren. James war ein aktives Mitglied der American Antislavery Society und seine Frau und Töchter waren Gründer der Philadelphia Female Antislavery Society. Das Forten House in der Lombard Street beherbergte prominente Abolitionisten wie Richard Allen, William Lloyd Garrison und Samuel J. May. Ihre Kinder waren Dichter, Pädagogen, Erfinder und Unternehmer.
Charlottes Mutter Mary Virginia starb, als sie drei Jahre alt war. Ihre Großmütter und Tanten wurden ihre Leihmütter. Ihr Vater Robert heiratete wieder und Charlotte lebte eine Zeit lang mit seiner neuen Familie auf dem Land.
Robert wollte jedoch, dass seine Tochter Charlotte in integrierten Schulen erzogen wurde, und so wurde sie durch abolitionistische und familiäre Verbindungen zu der Familie Remond in Salem, Massachusetts, geschickt, wo Schulen integriert wurden. Ihr ganzes Leben lang war Philadelphia jedoch immer die Heimat von Charlotte, wo sie von ihrer Familie begrüßt und unterstützt wurde.
Ihr Großvater James Forten wurde 1766 in der vierten Generation einer Philadelphia-Familie afrikanischer Abstammung geboren. Sein Vater starb, als er sieben Jahre alt war, also half er, seine Familie mit Gelegenheitsjobs zu unterstützen und erhielt eine Ausbildung in der afrikanischen Schule. Während der Revolution diente er einem amerikanischen Freibeuter, wurde gefangen genommen und inhaftiert. Nach seiner Freilassung reiste er nach London und arbeitete in einem Segel-Loft. Nach seiner Rückkehr nach Philadelphia machte er eine Lehre beim Segelmacher Robert Bridges und übernahm das Geschäft schließlich 1798. Er wurde einer der reichsten Männer afrikanischer Abstammung in der neuen Republik.
Die Familie Forten nutzte ihren finanziellen Erfolg, um Sklaven zu finanzieren, die sich ihre Freiheit erkauften, und um die U-Bahn zu unterstützen. James Forten war ein früher Unterstützer von William Lloyd Garrisons Zeitung „The Liberator“ und ein häufiger Kolumnist unter dem Titel „A Colored Philadelphian“, der eine Reihe von Reformen förderte, aber keine so heftig wie die Abschaffung der Sklaverei. Seine Frau Vandine war ebenfalls Aktivistin und ihre Söhne und Töchter traten in ihre Fußstapfen.
Charlottes Vater, Großvater und der Ehemann ihrer Tante, Robert Purvis, waren Mitglieder des Komitees, das den „Appell im Namen von vierzigtausend entrechteten Afroamerikanern“ verfasste.“ Vandine und Charlottes Tanten Harriet, Margaretta und Sara dienten in den Vorständen weiblicher abolitionistischer Gruppen und gründeten kostenlose Privatschulen für afroamerikanische Kinder im getrennten Philadelphia.