vanwege zijn standvastigheid en energie was hij ook bekend als de verdelger van de Pames van Querétaro. In Nuevo Santander werd hij beschuldigd van de moord op de Indianen en het nemen van slaven. Hij werd beschuldigd van illegaal gebruik van Indiase arbeid in zijn textielfabrieken en het gebruik van de haven van Santander om Engelse smokkelwaar binnen te brengen. Echter, in de periode 1770-1775 waren er meer dan twee keer zoveel doden onder de Indianen als in de 22 jaar dat hij regeerde.Onder zijn vijanden in de regio waren de Jezuïeten, de Fransen en de seculiere geestelijkheid.
hij vergaarde enorme rijkdom tijdens zijn verblijf in Querétaro, San Miguel en Nuevo Santander door het werk van slecht betaalde Indianen en slaven, evenals grote landsubsidies van de onderkoningen. Het vee en andere producten van zijn land, evenals wat hij kocht van de kolonisten, werden verscheept vanuit de haven van Soto la Marina langs de kust naar Veracruz in een fregat dat hij bezat.Hij werd beschouwd als een van de grote staatslieden van Nieuw-Spanje in de achttiende eeuw, superieur aan veel van de onderkoning. Hij wees activiteiten en gewassen toe aan elke nederzetting, stimuleerde irrigatie en bouwde wegen en bruggen. Hij bouwde een groot herenhuis in Santander, de hoofdstad van de kolonie, bekend als het Paleis van de Graaf. Hij bouwde ook de kerk van Santander en een reservoir voor drinkwater. Hij bracht metselaars, timmerlieden en smeden uit Tacubaya en richtte ovens, suikermolens en meelmolens op.Om hem voor zijn diensten te belonen, verleende de kroon hem de titel van conde de Sierra Gorda, vrij van lanzas (rechten opgelegd aan edelen in plaats van militaire dienst) en media anata (Belasting betaald bij het aanvaarden van zijn ambt).Hij stierf in 1770, waarschijnlijk op 10 September, in Quetétero of Mexico-Stad. Vijf jaar later werd hij vrijgesproken en gerehabiliteerd. De titel ging over aan zijn oudste zoon, Manuel. Manuel stierf zonder nakomelingen, en de tweede zoon van José, Mariano, werd graaf.Ciudad Victoria, nu de hoofdstad van de staat Tamaulipas, bouwde in 1975 een standbeeld ter nagedachtenis aan hem. Er zijn ook straten naar hem vernoemd daar en in Querétaro. In Laredo, Texas wordt jaarlijks in November het Festival de música José de Escandón gevierd. Er is ook een standbeeld aan hem gewijd in Alice, Texas.In 2014 werd een standbeeld gewijd aan Jose de Escandon. Het is gelegen aan de Universiteit van Texas Rio Grande Valley in Edinburg, Texas.