por sua firmeza e energia, foi também conhecido como O Exterminador dos Pames de Querétaro. Em Nuevo Santander foi acusado de assassinar os índios e de levar escravos. Ele enfrentou um processo judicial onde foi acusado de usar ilegalmente o trabalho indiano em suas fábricas têxteis e usar o porto de Santander para trazer contrabando inglês. No entanto, no período de 1770-1775 houve mais do dobro de mortes entre os índios como nos 22 anos que ele governou.Entre os seus inimigos na região estavam os jesuítas, os franceses e o clero secular.
Ele acumulou grande riqueza durante a sua estadia em Querétaro, San Miguel e Nuevo Santander a partir do trabalho mal pago, Índios e escravos, bem como os grandes concessões de terra a partir de vice-reis. O gado e outros produtos de suas terras, bem como o que ele comprou aos colonos, foram enviados do porto de Soto la Marina ao longo da costa para Veracruz em uma fragata que ele possuía.Foi considerado um dos grandes estadistas da Nova Espanha no século XVIII, superior a muitos dos vice-reis. Ele atribuiu atividades e cultivos a cada assentamento, estimulou a irrigação e construiu estradas e pontes. Ele construiu uma grande mansão em Santander, capital da colônia, conhecida como o Palácio do Conde. Ele também construiu a igreja em Santander e um reservatório de água potável. Ele trouxe maçons, carpinteiros e ferreiros de Tacubaya e estabeleceu fornos, usinas de açúcar e moinhos de farinha.Para recompensá-lo pelos seus serviços, a coroa concedeu-lhe o título de conde de Sierra Gorda, livre de lanzas (dever imposto aos nobres em vez de serviço militar) e de media anata (imposto pago sobre assumir o cargo).Morreu esquecido em 1770, provavelmente em 10 de setembro, em Quetétero ou cidade do México. Cinco anos depois, ele foi exonerado das acusações legais contra ele, e reabilitado. O título passou para seu filho mais velho, Manuel. Manuel morreu sem descendentes, e o segundo filho de José, Mariano, tornou-se Conde.Ciudad Vitória, agora capital do Estado de Tamaulipas, ergueu uma estátua em sua memória em 1975. Há também ruas com o nome dele lá e em Querétaro. Em Laredo, Texas, o Festival de Música José de Escandón é celebrado anualmente em novembro. Há também uma estátua dedicada a ele em Alice, Texas.Uma estátua foi dedicada a José de Escandon em 2014. Está localizado na Universidade do Texas Rio Grande Valley, em Edinburg, Texas.