Elliott chegou à Carolina do Sul em 1867 com 25 anos de idade, onde estabeleceu uma prática de advocacia. Elliott ajudou a organizar o Partido Republicano local e serviu na convenção constitucional do estado em 1868 como um delegado do Distrito de Edgefield. No final da década de 1860 ele foi contratado por AME bishop e pelo futuro congressista Richard H. Cain para ser um editor associado do jornal, O Líder da Carolina do Sul (renomeado O Registro missionário em 1868), juntamente com outro futuro congressista, Alonzo J. Ransier. Na mesma época, Elliott formou o primeiro escritório de advocacia afro-americano conhecido do país, Whipper, Elliott e Allen, com William Whipper e Macon B. Allen.Em 1868 foi eleito para a Câmara dos representantes da Carolina do Sul. No ano seguinte foi nomeado ajudante-general assistente; foi o primeiro general afro-americano comandante da Guarda Nacional da Carolina do Sul. Como parte de seu trabalho, ele ajudou a formar uma milícia do Estado para lutar contra o Ku Klux Klan.Elliott foi eleito como um republicano para o 42º Congresso dos Estados Unidos, derrotando o democrata John E. Bacon. Ele foi reeleito para o quadragésimo terceiro congresso dos Estados Unidos, derrotando o Democrata William H. McCann. No Congresso, em abril de 1871, ele fez um notável discurso sobre o” projeto de lei para impor as disposições da Décima Quarta Emenda à Constituição”, também conhecido como o”projeto de lei Ku Klux”. Ele novamente “fez um discurso celebrado” em favor da Lei dos Direitos Civis de 1875. Ele renunciou em 1 de novembro de 1874, para servir como xerife e combater a corrupção política na Carolina do Sul. Ele serviu novamente na Câmara dos representantes da Carolina do Sul, onde foi eleito Presidente da Câmara.
Ele foi executado com êxito para a Carolina do Sul Procurador-Geral, em 1876. Nas eleições estaduais daquele ano, os democratas brancos reconquistaram o domínio da legislatura estadual. No ano seguinte, 1877, quando as últimas tropas federais foram retiradas da Carolina do Sul, ele foi forçado a sair do cargo. Em 1878 ele formou uma parceria com D. Augustus Straker e T. McCants Stewart.Ele continuou a estar envolvido na política, trabalhando na campanha do Secretário do Tesouro John Sherman para Presidente em 1880, e foi um delegado à Convenção Nacional Republicana de 1880. Em janeiro de 1881, ele fez parte de uma delegação negra que se reuniu com o Presidente James Garfield para protestar contra a falta de direitos civis e políticos no sul. No entanto, sua prática de advocacia vacilou. Em 1879, foi nomeado inspetor aduaneiro do Departamento do tesouro em Charleston, Carolina do Sul. Contraiu malária enquanto trabalhava nessa qualidade numa viagem à Florida. Em 1881, ele foi transferido para Nova Orleans, e em 1882 foi demitido. Em Nova Orleans, ele novamente tentou praticar direito, mas encontrou poucos clientes. Empobrecido, ele morreu em Nova Orleans em 9 de agosto de 1884.