Les vestiges les plus anciens du site sont des pierres de taille en granit, comme celles de l'aqueduc romain, qui suggèrent l'existence d'un château ou d'une fortification à l'époque romaine. La forteresse a été construite sur cette base.

La première trace documentaire de la construction date de 1122, peu après la reconquête de la ville par Alphonse VI de León, mais le nom d'Alcazar n'apparaît qu'en 1155 dans une lettre des archives de la cathédrale.

Alphonse VIII y vécut. Le palais s'est écroulé en 1258 lorsqu'Alphonse X se trouvait à l'intérieur. La salle d'armes du palais est la plus ancienne. Elle a été restaurée et agrandie à plusieurs reprises, vraisemblablement d'Alphonse X à Philippe II. Ce dernier lui donne sa "silhouette" unique parmi les forteresses espagnoles.

Au Moyen Âge, l'Alcazar était la résidence préférée des rois de Castille, en particulier d'Alphonse X, en raison de sa sécurité et de sa proximité avec les zones de chasse. Le palais-château a été habité à de nombreuses reprises et a été le témoin d'événements importants de l'histoire espagnole, tels que la proclamation d'Isabelle la Catholique et le mariage de Philippe II et d'Anne d'Autriche dans sa chapelle.

En 1256, le roi Alphonse X "le Sage" a tenu les premières Cortes de l'Alcazar. La rénovation, l'agrandissement et l'ornementation de l'Alcazar, qui ont commencé avec Catherine de Lancastre en 1412 et ont atteint leur apogée sous Henri IV, ont suscité l'admiration de tous les visiteurs.

L'Alcazar abrita le trésor royal, les archives et l'armurerie après la fin de son rôle militaire. La décoration des pièces reflétait cette transformation. Jean II et Henri IV ont entrepris une conservation systématique des archives. En 1437, Jean II a ordonné que les documents soient transférés à l'Alcazar "vers mes archives dans la ville de Ségovie", créant ainsi les premières archives royales de Castille.

L'Alcazar a atteint son apogée sous Jean II et son fils Henri IV, tant pour sa position dans le jeu politique compliqué de ces années orageuses que pour sa vie culturelle animée et sa décoration exquise.

À partir du début du XVIIe siècle, l'Alcazar est devenu une prison gouvernementale, à l'instar de la Bastille en France ou de la Tour de Londres en Angleterre. Depuis le Moyen Âge, l'Alcazar a parfois accueilli des personnalités célèbres.

De nombreux hommes politiques de premier plan y ont été emprisonnés sous Philippe IV et Charles II, les derniers souverains autrichiens.

Charles III a créé le Collège royal d'artillerie à Ségovie en 1762, sous la direction du comte Felix Gazzola. Le Collège s'est installé dans l'Alcazar le 16 mai 1764. Ce centre d'enseignement est devenu le modèle d'une éducation militaire éclairée.

Grâce aux gravures de José María Avrial y Flores de 1839, les beaux plafonds des grandes salles ont été fidèlement restaurés après l'incendie de 1862.

Les archives militaires générales, restées à l'Alcazar, ont été installées au premier niveau en 1898.

Elles sont devenues un monument historico-artistique en 1931.