Situé sur la Plaza de la Trinidad, à côté de l'église de San Nicolás, le palais des comtes de Benavente était l'un des palais les plus importants de la ville. Lieu de cour, il fut la résidence de la famille royale et le lieu de naissance d'Anne Maurice, future reine de France, et de l'Infante Marie, fille de Philippe III et de Marguerite d'Autriche.

Sa construction remonte à 1515. C'était également le siège des Cortes Generales et des conseils royaux. Sous le règne de Juan Francisco Alonso Pimentel, il abritait la meilleure collection d'art privée qui ait jamais existé à Valladolid. Il a subi de graves incendies en 1667 et 1716. En 1801, il a été acquis par la Diputación de Valladolid pour être utilisé comme hospice jusque dans les années 1970. En 1982, la Diputación a cédé le bâtiment au ministère de la Culture, qui l'a utilisé comme bibliothèque publique, à la suite d'un processus de reconstruction et de réhabilitation mené sur le bâtiment en ruine, dans le but de récupérer et de mettre en valeur sa typologie originale.

En ce qui concerne sa structure, il convient de noter que le rez-de-chaussée s'articule autour de deux cours ; la cour Renaissance est entièrement respectée et une cour circulaire avec un toit semi-sphérique est construite. Dans la travée centrale, comme il est habituel dans ces complexes de palais, se trouve l'escalier principal, adaptant tout l'intérieur à la nouvelle utilisation et aux nouvelles fonctions, avec des matériaux modernes comme le béton.

La façade principale conserve la porte d'entrée originale en pierre avec un arc en demi-cercle, flanquée des armoiries des comtes-Ducs Pimentel de Benavente et encadrée par des alfiz.