Der Palast des Königskindes, der auch als Bischofspalast bekannt ist, wurde im 12. Jahrhundert als Teil der Verteidigungsanlagen der Stadtmauer von Ávila erbaut, da die Verteidigung jedes Tors der Stadtmauer einem Palast anvertraut war.

Der Besitzer des Palastes, der Bischof, musste das Tor der Kathedrale verteidigen. Der Palast war an den Abschnitt der Stadtmauer angebaut, der zwischen zwei Toren verläuft, dem ersten und dem Tor von San Vicente.

Der Palast ist als Palast des Königskindes bekannt, da die Chroniken jener Zeit berichten, dass der zukünftige König Alfons XI. dort unter der Vormundschaft des Bischofs Don Sancho untergebracht war, als er nach Ávila verlegt wurde, um ihn bis zur Ernennung eines Vormunds zu schützen.

Im Jahr 1775 ging der Palast in den Besitz des Staates über, als die Gesellschaft Jesu aufgelöst wurde. Damals beherbergte es die öffentlichen Schulen.

Im Laufe der Zeit wurde es aufgeteilt und verschiedene öffentliche Einrichtungen wurden hier angesiedelt: Heute befinden sich hier das Postgebäude und die Staatliche Öffentliche Bibliothek, in der noch die ursprüngliche Fruchel-Tür des Palastes aus Granit mit einem Wappen erhalten ist.

Der Rest des Palastes hingegen wurde zerstört, und an seiner Stelle wurde das heutige Postgebäude errichtet, das aus dem 16. Jahrhundert stammt und in dem ein Teil des Portals, ein Eckfenster und die Sala de Sínodos (Synodensaal) erhalten sind.