Le palais de l'Enfant Roi, également connu sous le nom de palais épiscopal, a été construit au XIIe siècle dans le cadre des défenses de la muraille d'Ávila, la défense de chaque porte de la muraille étant confiée à un palais.

Le propriétaire du palais, l'évêque, devait défendre la porte de la cathédrale. Le palais était rattaché au tronçon de muraille qui passe entre deux portes, la première et la porte de San Vicente.

Le palais est connu comme le palais de l'Enfant Roi car les chroniques de l'époque nous racontent que le futur roi Alphonse XI y fut installé, sous la tutelle de l'évêque Don Sancho, avant d'être transféré à Ávila pour le protéger jusqu'à la nomination d'un tuteur régent.

En 1775, le palais est passé aux mains de l'État lorsque la Compagnie de Jésus a été supprimée. À l'époque, il abritait les écoles publiques.

Au fil du temps, il a été divisé et divers organismes publics s'y sont installés : il abrite actuellement le bâtiment de la Poste et la Bibliothèque publique d'État, qui conserve encore la porte originale du palais, de style Fruchel, en granit et surmontée d'un blason.

En revanche, le reste du palais a été détruit et à sa place a été construit l'actuel bâtiment de la poste, qui date du XVIe siècle et conserve une partie de la porte, une fenêtre d'angle et la Sala de Sínodos (salle des synodes).