El Palacio lo empezó a construir en estilo neoclásico el I duque de Fernán Núñez en 1790. La actual configuración es producto de la remodelación realizada por el Conde de Cervellón, esposo de la hija del I Duque de Fernán Núñez, con el propósito de convertirlo en una de las residencias más sobresalientes del Madrid de mediados del siglo XIX. Está situado en la calle Santa Isabel, cerca de la estación de Atocha y desde 1985 es la sede de la Fundación de los Ferrocarriles Españoles. Este palacio ha llegado hasta nuestros días en perfecto estado y manteniendo su mobiliario, lámparas y adornos originales, como congelado en el tiempo. Su suntuosidad y gran estilo lo han convertido, desde hace más de siete décadas, en un escenario magnífico para películas y series de época.

La reforma afectó fundamentalmente al interior, en el que la primitiva edificación se adaptó al romanticismo dominante en la época. El palacio se articula en dos áreas: la noble y la de servicio y caballerizas. La parte noble, que es la que mejor se conserva, está decorada con una abundante producción de alfombras y tapices de la Real Fábrica de Santa Bárbara, algunas réplicas de cartones de Goya, así como taraceas en pisos y techos, lámparas de cristal de Baccarat, tejidos de seda, mármoles, bronces, muebles con profusión de dorados y otros elementos de lujosa factura.

Entre los ambientes más significativos del Palacio pueden citarse el Patio de Recibo con la escalera principal, el Salón de Estuco, el Salón de Pasos Perdidos y la Logia, el Salón Rojo (despacho principal), el Salón de Baile, el Salón Isabelino, el Comedor Principal, el Comedor de los Niños, y la Escalera de Nogal. También destacan el jardín y el invernadero.

Actualmente acoge la sede social de la Fundación de Ferrocarriles Españoles, que organiza visitas guiadas por el edificio.