Der Palast der Familie Verdugo stammt aus dem Jahr 1531 und wurde von Don Suero de Águila, Ritter des Infanten Don Fernando, Bruder von Carlos I., erbaut. Es befindet sich in der Calle de Lope Núñez, die damals Calle del Lomo hieß. Es wurde als Antwort auf den Aufschwung der Stadt im 16. Jahrhundert gebaut, der durch das Wachstum der Wolltextilindustrie, den Bau von Kirchen und Klöstern und den religiösen Impuls der Heiligen Teresa von Ávila und Johannes vom Kreuz ausgelöst wurde.

Die nüchterne Steinfassade ist im plateresken Stil gehalten und hat einen defensiven Charakter, ohne niedrige Fenster und mit zwei breiten Türmen auf beiden Seiten. Links von der Fassade steht ein steinernes Wildschwein aus der Zeit des Vétonismus, das den Dutzenden von Wildschweinen, die in der Stadt verstreut sind, und den bekannten Guisando-Stieren ähnelt.

Seit seiner Erbauung war es der Sitz des Hauses von Don Suero de Águila, der 1536 seinem Sohn Don Sancho de Águila und dessen Frau Isabel de Carvajal, der Tante des Infanten Don Fernando, einen Lehnsbrief ausstellte, mit der Maßgabe, dass im Falle des Aussterbens des Geschlechts sein Besitz an den Orden der Hieronymiten übergehen würde.

Als sein Enkel Rodrigo de Águila 1606 ohne Nachkommen starb, wandelten die Hieronymiten es in ein Konventhaus um, bis sie es 1616 mit der Gesellschaft Jesu gegen das Kollegium von San Gil eintauschten.

Der Palast blieb in den Händen der Jesuiten, bis er öffentlich versteigert und von Francisco Guillamas y Velázquez erworben wurde. Es blieb bis 1990 im Besitz seiner Nachkommen.

Das Gebäude wurde durch den Königlichen Erlass 760/1979 vom 9. März 1979, veröffentlicht im BOE vom 12. April 1979, zum nationalen kunsthistorischen Denkmal erklärt.

Seit 2008 und nach mehrjährigen Restaurierungsarbeiten ist es der ständige Sitz des Generalsekretariats der Gruppe der Welterbestädte Spaniens.4 Es ist Teil des Kulturguts der Provinz Ávila.

Das Wappen des Familiennamens Verdugo, der auf die Gründung der Stadt Arévalo in Ávila zurückgeht und aufgrund der spanischen Kolonisierung in Lateinamerika weit verbreitet ist, befindet sich über der Tür des Palastes im Zentrum. Pedro Briceño y Verdugo, gebürtig aus Arevalo, war 1520 königlicher Schatzmeister des Gouvernements Santa Marta (1511). Sein Sohn, Sancho Briceño Verdugo y Alvarez, ließ sich 1528 mit der Familie Belzarez in Coro nieder.

Das Wappen des Familiennamens Verdugo besteht aus einem aufgerichteten Löwen, und obwohl es verschiedene Farben für den Hintergrund und den Rahmen gibt, gibt es keine genauen Hinweise auf die übrigen Details.