Das Kulturzentrum Conde Duque verfügt über 58 000 Quadratmeter, die der Kultur gewidmet sind. Neben mehreren Ausstellungsräumen gibt es ein Auditorium und ein Theater, wo regelmäßig Bühnenveranstaltungen stattfinden.

Das beeindruckende Gebäude mit rosa Fassade, in dem das Kulturzentrum untergebracht ist, war eins eine bedeutende Kaserne, die 1717 auf Anordnung von Philipp V., dem ersten spanischen König aus dem Haus der Bourbonen, errichtet wurde. Die 1730 fertiggestellte Kaserne Real Cuartel de Guardias de Corps kann als letztes großes Beispiel der madrilenischen Baukunst vor der Einführung des italienischen Baustils, der seit der Errichtung des Königspalastes vorherrscht, betrachtet werden. Das Gebäude wurde 1976 unter Denkmalschutz gestellt und damit vor dem Abriss bewahrt.

Der Name ‘Cuartel del Conde Duque’ (Kaserne des Grafen Duque) wurde zu Ehren des Grafen von Lemos und Herzog von Berwick und Liria (1718-1785), Nachkomme des englischen Königshauses und vermählt mit der Tochter der Herzogin von Alba, die das Grundeigentum bis 1943 behielt, verliehen. Das Gebäude wurde 1869 teilweise von einem Brand zerstört und 1969 von der Stadt Madrid erworben, die seine Renovierung vorantrieb. Im Jahr 1983 erfolgte der Umbau des Conde Duque in ein von der Stadt Madrid verwaltetes Kulturzentrum. Bei einer im Jahr 2011 abgeschlossenen umfassenden Renovierung im Rahmen des Masterplans von 2005 wurden die Außen- und Innenwände restauriert und dabei das Backsteinmauerwerk, die Originalform der Durchbrüche und dort ,wo nicht mehr vorhanden, die ursprüngliche Höhe wiederhergestellt. 

Eines der wichtigsten Kulturzentren Madrids

Das Conde Duque ist neben Matadero Madrid und CentroCentro eine der drei großen, vom Referat für Kunst, Sport und Tourismus der Stadt Madrid unterhaltenen städtischen Kunsteinrichtungen.

Das Gebäude beherbergt zahlreiche Institutionen, die von der Generaldirektion für Bibliotheken, Archive und Museen, der Generaldirektion für städtisches Kulturerbe und Stadtlandschaft und dem öffentlichen Unternehmen Madrid Destino verwaltet werden. Die beiden Abteilungen und das zum gleichen Referat gehörende öffentliche Unternehmen leiten die Aktivitäten des Zentrums direkt, ohne sich in das Fachgebiet der jeweils anderen Abteilungen einzumischen.

Die zuvor genannten Generaldirektionen sind unter anderem für folgende Einrichtungen zuständig: den Nordhof, das Archivo de la Villa, die städtische Zeitungsbibliothek, die Ausstellungssäle, das Museum für zeitgenössische Kunst Madrid und die vier Bibliotheken: die öffentliche Bibliothek Benito Pérez Galdós, die städtische historische Bibliothek, die Musikbibliothek Victor Espinós und die digitale Bibliothek Memoriademadrid.

Das Zentrum für zeitgenössische Kultur Condeduque (das Teil des öffentlichen Unternehmens Madrid Destino ist) ist u. a. für folgende Räumlichkeiten zuständig: das Theater, die Aula, das Auditorium, die Proberäume, den Gewölbesaal, den Turm, den Mehrzweckraum, den Südhof und den Zentralhof.