Elliott llegó a Carolina del Sur en 1867 a la edad de 25 años, donde estableció un bufete de abogados. Elliott ayudó a organizar el Partido Republicano local y sirvió en la convención constitucional estatal en 1868 como delegado del distrito de Edgefield. A finales de la década de 1860 fue contratado por AME bishop y futuro congresista Richard H. Cain para ser editor asociado del periódico, The South Carolina Leader (rebautizado como the Missionary Record en 1868), junto con otro futuro congresista, Alonzo J. Ransier. Al mismo tiempo, Elliott formó el primer bufete de abogados afroamericano conocido de la nación, Whipper, Elliott y Allen, con William Whipper y Macon B. Allen.
En 1868 fue elegido para la Cámara de Representantes de Carolina del Sur. Al año siguiente fue nombrado ayudante general; fue el primer general al mando afroamericano de la Guardia Nacional de Carolina del Sur. Como parte de su trabajo, ayudó a formar una milicia estatal para luchar contra el Ku Klux Klan.
Elliott fue elegido republicano para el cuadragésimo segundo Congreso de los Estados Unidos, derrotando al demócrata John E. Bacon. Fue reelegido al cuadragésimo tercer Congreso de los Estados Unidos, derrotando al demócrata William H. McCann. En abril de 1871 dio un notable discurso en el Congreso sobre el «Proyecto de Ley para Hacer Cumplir las Disposiciones de la Decimocuarta Enmienda a la Constitución», también conocido como el «Proyecto de Ley Ku Klux». De nuevo «pronunció un celebrado discurso» a favor de la Ley de Derechos Civiles de 1875. Renunció el 1 de noviembre de 1874 para servir como sheriff y luchar contra la corrupción política en Carolina del Sur. Sirvió de nuevo en la Cámara de Representantes de Carolina del Sur, donde fue elegido como Presidente de la Cámara.
Se postuló con éxito para Fiscal General de Carolina del Sur en 1876. En las elecciones estatales de ese año, los demócratas blancos recuperaron el dominio de la legislatura estatal. Al año siguiente, 1877, cuando las últimas tropas federales se retiraron de Carolina del Sur, fue obligado a abandonar el cargo. En 1878 formó una sociedad legal con D. Augustus Straker y T. McCants Stewart.
Continuó involucrado en la política, trabajando en la campaña presidencial del entonces Secretario del Tesoro John Sherman en 1880, y fue delegado en la Convención Nacional Republicana de 1880. En enero de 1881 formó parte de una delegación negra que se reunió con el presidente James Garfield para protestar por la falta de derechos civiles y políticos en el Sur. Sin embargo, su práctica de abogacía flaqueó. En 1879, fue nombrado inspector de aduanas del Departamento del Tesoro en Charleston, Carolina del Sur. Contrajo malaria mientras trabajaba en esa capacidad en un viaje a Florida. En 1881, fue transferido a Nueva Orleans, y en 1882 fue despedido. En Nueva Orleans intentó de nuevo ejercer la abogacía, pero encontró pocos clientes. Empobrecido, murió en Nueva Orleans el 9 de agosto de 1884.