Per la sua fermezza ed energia, fu anche conosciuto come lo Sterminatore dei Pames di Querétaro. A Nuevo Santander fu accusato di aver ucciso gli indiani e preso schiavi. Ha affrontato un caso giudiziario in cui è stato accusato di utilizzare illegalmente manodopera indiana nelle sue fabbriche tessili e utilizzando il porto di Santander per portare in contrabbando inglese. Tuttavia, nel periodo 1770-1775 ci furono più del doppio delle morti tra gli indiani rispetto ai 22 anni che governò.
Tra i suoi nemici nella regione c’erano i gesuiti, i francesi e il clero secolare.
Durante il suo soggiorno a Querétaro, San Miguel e Nuevo Santander accumulò grandi ricchezze grazie al lavoro di indiani e schiavi mal pagati, oltre a grandi concessioni terriere da parte dei viceré. Il bestiame e altri prodotti delle sue terre, così come ciò che ha comprato dai coloni, sono stati spediti dal porto di Soto la Marina lungo la costa a Veracruz in una fregata di sua proprietà.
Era considerato uno dei grandi statisti della Nuova Spagna nel XVIII secolo, superiore a molti dei viceré. Assegnò attività e raccolti ad ogni insediamento, stimolò l’irrigazione e costruì strade e ponti. Costruì una grande villa a Santander, capitale della colonia, conosciuta come il Palazzo del Conte. Ha anche costruito la chiesa a Santander e un serbatoio per l’acqua potabile. Ha portato muratori, falegnami e fabbri da Tacubaya e ha stabilito forni, zuccherifici e mulini.
Per ricompensarlo dei suoi servigi, la Corona gli concesse il titolo di conde de Sierra Gorda, libero da lanzas (dazio imposto ai nobili al posto del servizio militare) e media anata (tassa pagata sull’assunzione dell’incarico).
Morì dimenticato nel 1770, probabilmente il 10 settembre, a Quetétero o Città del Messico. Cinque anni dopo fu scagionato dalle accuse legali contro di lui e riabilitato. Il titolo passò al figlio maggiore, Manuel. Manuel morì senza discendenti e il secondo figlio di José, Mariano, divenne conte.
Ciudad Victoria, oggi capitale dello stato di Tamaulipas, eresse una statua in sua memoria nel 1975. Ci sono anche strade che portano il suo nome lì e a Querétaro. A Laredo, Texas, il Festival de Música José de Escandón si celebra ogni anno nel mese di novembre. C’è anche una statua a lui dedicata ad Alice, in Texas.
Una statua è stata dedicata a Jose de Escandon nel 2014. Si trova presso l’Università del Texas Rio Grande Valley a Edinburg, Texas.