Für seine Festigkeit und Energie war er auch als Kammerjäger der Pames von Querétaro bekannt. In Nuevo Santander wurde er beschuldigt, die Indianer ermordet und Sklaven genommen zu haben. Er stand vor einem Gerichtsverfahren, in dem er beschuldigt wurde, illegal indische Arbeitskräfte in seinen Textilfabriken eingesetzt und den Hafen von Santander genutzt zu haben, um englische Schmuggelware einzubringen. In der Zeit von 1770 bis 1775 gab es jedoch mehr als doppelt so viele Todesfälle unter den Indianern wie in den 22 Jahren, in denen er regierte.
Zu seinen Feinden in der Region gehörten die Jesuiten, die Franzosen und der weltliche Klerus.
Während seines Aufenthalts in Querétaro, San Miguel und Nuevo Santander sammelte er durch die Arbeit schlecht bezahlter Indianer und Sklaven sowie durch große Landzuschüsse der Vizekönige großen Reichtum. Das Vieh und andere Produkte seines Landes sowie das, was er von den Kolonisten kaufte, wurden in einer Fregatte, die er besaß, vom Hafen von Soto la Marina entlang der Küste nach Veracruz verschifft.
Er galt im achtzehnten Jahrhundert als einer der großen Staatsmänner Neuspaniens, der vielen Vizekönigen überlegen war. Er wies jeder Siedlung Aktivitäten und Ernten zu, regte die Bewässerung an und baute Straßen und Brücken. Er baute ein großes Herrenhaus in Santander, der Hauptstadt der Kolonie, bekannt als der Palast des Grafen. Er baute auch die Kirche in Santander und ein Reservoir für Trinkwasser. Er holte Maurer, Zimmerleute und Schmiede aus Tacubaya und gründete Brennöfen, Zuckermühlen und Getreidemühlen.
Um ihn für seine Verdienste zu belohnen, verlieh ihm die Krone den Titel Conde de Sierra Gorda, frei von Lanzas (Pflicht für Adlige anstelle des Militärdienstes) und Media Anata (Steuer auf Amtsantritt).
Er starb 1770, wahrscheinlich am 10.September, in Quetétero oder Mexiko-Stadt. Fünf Jahre später wurde er von den gegen ihn erhobenen Anklagen freigesprochen und rehabilitiert. Der Titel ging an seinen ältesten Sohn Manuel. Manuel starb ohne Nachkommen, und der zweite Sohn von José, Mariano, wurde Graf.
Ciudad Victoria, heute die Hauptstadt des Bundesstaates Tamaulipas, errichtete 1975 eine Statue zu seinem Andenken. Dort und in Querétaro sind auch Straßen nach ihm benannt. In Laredo, Texas, wird jährlich im November das Festival de Música José de Escandón gefeiert. Es gibt auch eine Statue, die ihm in Alice, Texas, gewidmet ist.
Jose de Escandon wurde 2014 eine Statue gewidmet. Es befindet sich an der Universität von Texas Rio Grande Valley in Edinburg, Texas.