Pour sa fermeté et son énergie, il était également connu comme l’Exterminateur des Pames de Querétaro. À Nuevo Santander, il a été accusé d’avoir assassiné les Indiens et d’avoir pris des esclaves. Il fait face à une affaire judiciaire où il est accusé d’avoir utilisé illégalement de la main-d’œuvre indienne dans ses usines textiles et d’avoir utilisé le port de Santander pour faire entrer de la contrebande anglaise. Cependant, entre 1770 et 1775, il y eut plus de deux fois plus de morts parmi les Indiens que pendant les 22 années où il gouverna.
Parmi ses ennemis dans la région se trouvaient les Jésuites, les Français et le clergé séculier.
Il a accumulé de vastes richesses pendant son séjour à Querétaro, San Miguel et Nuevo Santander grâce au travail d’Indiens et d’esclaves mal payés, ainsi que d’importantes concessions de terres des vice-rois. Le bétail et les autres produits de ses terres, ainsi que ce qu’il a acheté aux colons, ont été expédiés du port de Soto la Marina le long de la côte à Veracruz dans une frégate qu’il possédait.
Il était considéré comme l’un des grands hommes d’État de la Nouvelle-Espagne au XVIIIe siècle, supérieur à de nombreux vice-rois. Il a assigné des activités et des cultures à chaque colonie, stimulé l’irrigation et construit des routes et des ponts. Il a construit un grand manoir à Santander, capitale de la colonie, connu sous le nom de Palais du Comte. Il a également construit l’église de Santander et un réservoir d’eau potable. Il a fait venir des maçons, des charpentiers et des forgerons de Tacubaya et a établi des fours, des moulins à sucre et des moulins à farine.
Pour le récompenser de ses services, la Couronne lui accorda le titre de conde de Sierra Gorda, libre de lanzas (obligation imposée aux nobles en lieu et place du service militaire) et de media anata (taxe payée à l’entrée en fonction).
Il mourut oublié en 1770, probablement le 10 septembre, à Quetétero ou Mexico. Cinq ans plus tard, il a été disculpé des accusations portées contre lui et réhabilité. Le titre est passé à son fils aîné, Manuel. Manuel mourut sans descendance et le deuxième fils de José, Mariano, devint comte.
Ciudad Victoria, aujourd’hui capitale de l’État de Tamaulipas, a érigé une statue à sa mémoire en 1975. Il y a aussi des rues qui portent son nom là-bas et à Querétaro. À Laredo, au Texas, le Festival de Música José de Escandón est célébré chaque année en novembre. Il y a aussi une statue qui lui est dédiée à Alice, au Texas.
Une statue a été dédiée à José de Escandon en 2014. Il est situé à l’Université du Texas Rio Grande Valley à Edinburg, au Texas.