Este edificio fue sede del Consejo Supremo de la Inquisición a finales del siglo XVIII. Tras la desaparición de la Inquisición a principios del siglo XIX, el edificio fue abandonado durante un tiempo y luego fue sede de varias dependencias ministeriales, entre ellas el Ministerio de Fomento. En 1894 fue comprado por las Madres Reparadoras.

En 1792 hubo un primer proyecto de Ventura Rodríguez, pero parece que la falta de presupuesto y la necesidad de realizar la obra rápidamente obligó a que el encargo pasara a su discípulo Mateo Guill, quien, sin abandonar las premisas estilísticas del anterior proyecto, realizó otro de menores dimensiones, conservando parte de los edificios anteriores. Este es el motivo por el que sólo la fachada de la calle de Torija tiene la monumentalidad adecuada y las fachadas laterales son el arranque de lo que pudo ser una obra más homogénea.

A pesar de su sencillez clasicista, produce un impacto visual en el entorno. Destaca la portada central, sobria, con balcón enmarcado por columnas y rematado con un escudo del estado español.

Desde 2008 el edificio forma parte de las dependencias del Senado, que lo compró para ampliar sus instalaciones y disponer de salas específicas para las comunidades autónomas, aunque, como consecuencia de la crisis económica y la falta de estabilidad presupuestaria, no pudieron efectuarse las obras de adecuación. En febrero de 2020 se retomó el proyecto de ampliación del Senado.