Por su firmeza y energía, también fue conocido como el Exterminador de los Pames de Querétaro. En Nuevo Santander fue acusado de asesinar a los indios y de tomar esclavos. Se enfrentó a un caso judicial en el que fue acusado de usar ilegalmente mano de obra india en sus fábricas textiles y usar el puerto de Santander para traer contrabando inglés. Sin embargo, en el período 1770-1775 hubo más del doble de muertes entre los indios que en los 22 años que gobernó.
Entre sus enemigos en la región estaban los jesuitas, los franceses y el clero secular.
Acumuló grandes riquezas durante su estancia en Querétaro, San Miguel y Nuevo Santander a partir del trabajo de indios y esclavos mal pagados, así como grandes concesiones de tierras de los virreyes. El ganado y otros productos de sus tierras, así como lo que compró a los colonos, fueron enviados desde el puerto de Soto la Marina a lo largo de la costa a Veracruz en una fragata que poseía.
Fue considerado uno de los grandes estadistas de la Nueva España en el siglo XVIII, superior a muchos de los virreyes. Asignó actividades y cultivos a cada asentamiento, estimuló el riego y construyó carreteras y puentes. Construyó una gran mansión en Santander, capital de la colonia, conocida como el Palacio del Conde. También construyó la iglesia de Santander y un depósito de agua potable. Trajo albañiles, carpinteros y herreros de Tacubaya y estableció hornos, ingenios azucareros y molinos harineros.
Para recompensarlo por sus servicios, la Corona le concedió el título de conde de Sierra Gorda, libre de lanzas (deber impuesto a los nobles en lugar del servicio militar) y media anata (impuesto pagado al asumir el cargo).
Murió olvidado en 1770, probablemente el 10 de septiembre, en Quettero o Ciudad de México. Cinco años más tarde fue exonerado de los cargos legales en su contra y rehabilitado. El título pasó a su hijo mayor, Manuel. Manuel murió sin descendencia, y el segundo hijo de José, Mariano, se convirtió en conde.
Ciudad Victoria, ahora la capital del estado de Tamaulipas, erigió una estatua en su memoria en 1975. También hay calles que llevan su nombre allí y en Querétaro. En Laredo, Texas, el Festival de Música José de Escandón se celebra anualmente en noviembre. También hay una estatua dedicada a él en Alice, Texas.
Una estatua fue dedicada a José de Escandón en 2014. Se encuentra en el Valle del Río Grande de la Universidad de Texas en Edinburg, Texas.