Lo spazio culturale Conde Duque offre più di 58 777 metri quadrati di infrastrutture dedicate alla cultura. Oltre a diverse sale espositive, dispone di un auditorium e di un teatro dove si organizzano regolarmente diversi spettacoli di arti sceniche. È anche sede dell'Archivio della città, della Biblioteca storica, dell'Emeroteca comunale e della Biblioteca digitale memoria di Madrid.

Dall'imponente facciata rosa, l'edificio che ospita il centro culturale era un'importante caserma creata alla fine del 1717 su richiesta di Filippo V, primo re della casa di Borbone. Completato nel 1730, il cosiddetto Real Cuartel de Guardias de Corps può essere considerato l'ultimo grande esempio di architettura madrilena prima dell'introduzione dello stile italiano, quello dominante dalla costruzione del Palacio Real.

Conosciuto come ‘cuartel del Conde Duque’, viene così chiamato in onore del conte di Lemos e duca di Berwick e Liria (1718-1785), discendente dei re d'Inghilterra e sposato con una figlia del duca d'Alba, la cui famiglia mantenne il possesso dei terreni fino al 1943. Un incendio devastante lo distrusse parzialmente nel 1869. È soltanto nel 1969, anno in cui viene acquisito dal Comune di Madrid, che inizia la sua ristrutturazione. Nel 1976 l'edificio è stato dichiarato Monumento Storico-Artistico, venendo così salvato dalla demolizione. Nel 1983 Conde Duque diviene un centro culturale, dipendente dal Municipio di Madrid. Grazie a una completa ristrutturazione eseguita attraverso il Piano Generale elaborato nel 2005 e completato nel 2011, vengono restaurate le facciate esterne e interne, recuperando i mattoni faccia a vista, l’apertura dei vani e le altezze originarie laddove erano scomparsi. 

Uno dei principali centri culturali di Madrid

Conde Duque è uno dei tre grandi spazi culturali urbani promossi dall'Assessorato alle Arti, Sport e Turismo del Municipio di Madrid, insieme a Matadero Madrid e CentroCentro.

L'edificio ospita numerose istituzioni gestite dalla Direzione Generale di Biblioteche, Archivi e Musei, dalla Direzione Generale del Patrimonio e del Paesaggio Urbano, e dall'azienda pubblica Madrid Destino. Questi due uffici e l'azienda pubblica della stessa area gestiscono direttamente l'attività del centro, senza interferire nelle competenze specifiche di ciascuno di essi.

Le suddette Direzioni Generali sono responsabili, tra gli altri, dei seguenti spazi e istituzioni: il Patio Norte, l’Archivo de la Villa, l’Emeroteca Municipale, le Sale Espositive, il Museo de Arte Contemporáneo di Madrid e le quattro biblioteche: la Biblioteca Pubblica Benito Pérez Galdós, la Histórica Municipal, la Biblioteca Musicale Victor Espinós e la Digital Memoriademadrid.

Centro de Cultura Contemporánea Condeduque (che fa parte dell'azienda pubblica Madrid Destino) è responsabile, tra gli altri, dei seguenti spazi: il Teatro, la Sala delle Assemblee, l'Auditorium, le sale prove, la Sala della Volta, il Torreón, la Sala polivalente, il Patio Sur e il Patio Central.