Alonso de Covarrubias, arquitecto renacentista, creó en el siglo XVI el Palacio Ducal de Pastrana, de estructura renacentista. En 1941 fue declarado monumento nacional y en 1966, conjunto histórico-artístico.
El Palacio Ducal (obra de Antonio Fernández Alba) tiene planta cuadrada con torres en las esquinas y un patio central. En la parte posterior del palacio hay un jardín escalonado. El palacio nunca llegó a terminarse por diversos motivos legales.
La fachada del palacio es de sillería y no tiene muchos adornos. La fachada principal, de estilo renacentista y con la inscripción "De Mendoza y de La Cerda", destaca en el centro por su carácter italianizante. En su interior se aprecian artesonados de estilo plateresco, obra también de Alonso de Covarrubias. La parte baja de la estructura está decorada con zócalos de azulejos toledanos de estilo mudéjar y muebles chinos del siglo XIX, mientras que las paredes están cubiertas con tapices creados por el artista mudéjar Luis Cienfuegos.
Su diseño se remonta a 1541, año en que la abuela de la Princesa de Éboli, Ana de la Cerda y Castro, compró la villa de Pastrana. La princesa de Éboli fue encarcelada en su palacio en 1581, y allí falleció en 1592 mientras la cuidaban sus tres criadas y su hija menor, Ana de Silva (que más tarde sería monja).
La Plaza de la Hora, que debe su nombre a que la princesa podía salir del palacio durante una hora al día, destaca por su balcón enrejado. Tras la huida de Antonio Pérez al Reino de Aragón en 1590, Felipe II ordenó enrejar las puertas y ventanas del Palacio Ducal. Allí nació también Mara Ana de Austria, hija de Mara de Mendoza y Juan de Austria.
El palacio, diseñado por Carlos Clemente y Antonio Fernández Alba, fue adquirido por la Universidad de Alcalá en 1997, año en el que se terminaron las obras.