El centro tiene su sede en un edificio remodeado del siglo XVIII, obra del arquitecto Francesco Sabatini, situado frente al Museo Nacional Reina Sofía y a pocos metros de la estación de Atocha. Se trata de la institución pública de enseñanza musical más antigua en España, donde se han formado gran parte de los más importantes intérpretes y compositores españoles de los dos últimos siglos.

Desde su inauguración el 12 de diciembre de 1990, la sede actual del Conservatorio Superior de Música cuenta con una capacidad para 1400 alumnos y noventa profesores. Consta de varias aulas de distintos tamaños, 27 cabinas de estudio y dos auditorios. La rehabilitación ha recuperado la disposición original del edificio, adaptándose a las necesidades de un centro de enseñanza superior de música. El diseño interior ha logrado la conjunción de lo funcional con lo estético, donde lo viejo y lo nuevo conviven en perfecta armonía.

El Real Conservatorio Superior de Música de Madrid fue fundado por la reina María Cristina en 1830 a semejanza de las instituciones que para la enseñanza de la música existían en otros países europeos, especialmente en Italia y Francia. La sede de la institución entonces estuvo ubicada en la Plaza de los Mostenses.

El edificio actual alberga un museo que cuenta, desde 2007, con una exposición que muestra al público, por primera vez y de forma organizada, la colección de instrumentos musicales del Real Conservatorio Superior de Música de Madrid. Incluye instrumentos antiguos, partituras, métodos y otros objetos, algunos comprados para su uso en las clases y otros donados por antiguos profesores, músicos o particulares.