Die ältesten Überreste auf dem Gelände sind Granitquader wie die des römischen Aquädukts, die auf eine Burg oder eine Befestigung während der römischen Herrschaft hindeuten. Darauf wurde die Festung errichtet.

Die erste urkundliche Erwähnung des Baus stammt aus dem Jahr 1122, kurz nach der Rückeroberung der Stadt durch Alfons VI. von León, aber der Name Alcazar wird erst 1155 in einem Brief im Archiv der Kathedrale erwähnt.

Alfons VIII. wohnte dort. Der Palast fiel, als Alfonso X. 1258 darin wohnte. Die Waffenkammer des Palastes ist die älteste. Sie wurde mehrmals restauriert und vergrößert, vermutlich von Alfons X. bis Philipp II. Letzteres verleiht ihm seine einzigartige "Silhouette" unter den spanischen Festungen.

Der Alcázar war im Mittelalter aufgrund seiner Sicherheit und der Nähe zu den Jagdgebieten ein beliebter Aufenthaltsort der kastilischen Könige, insbesondere von Alfons X. Die Palastburg wurde mehrfach bewohnt und war Zeuge wichtiger Ereignisse der spanischen Geschichte, wie der Proklamation von Isabella der Katholischen und der Hochzeit von Philipp II. und Anna von Österreich in ihrer Kapelle.

Im Jahr 1256 hielt König Alfonso X. "der Weise" die erste Alcázar-Klausur ab. Der Umbau, die Vergrößerung und die Ausschmückung des Alcázar, die mit Katharina von Lancaster im Jahr 1412 begannen und unter Heinrich IV. ihren Höhepunkt erreichten, wurden von allen Besuchern bewundert.

Der Alcázar beherbergte die königliche Schatzkammer, die Archive und die Waffenkammer, nachdem seine militärische Rolle beendet war. Die Dekoration der Räume spiegelte diesen Wandel wider. Johannes II. und Heinrich IV. sorgten für eine systematische Aufbewahrung der Archivalien. Johannes II. ordnete 1437 die Verlegung der Akten in den Alcázar "in mein Archiv in der Stadt Segovia" an und gründete damit das erste königliche Archiv Kastiliens.

Unter Johannes II. und seinem Sohn Heinrich IV. erreichte der Alcázar seinen Höhepunkt, sowohl wegen seiner Stellung in dem komplizierten politischen Spiel jener stürmischen Jahre als auch wegen seines regen kulturellen Lebens und seiner exquisiten Ausstattung.

Ab dem frühen 17. Jahrhundert wurde der Alcazar zu einem Regierungsgefängnis, wie die Bastille in Frankreich oder der Tower of London in England. Seit dem Mittelalter wurden hier gelegentlich berühmte Persönlichkeiten inhaftiert.

Unter Philipp IV. und Karl II., den letzten österreichischen Herrschern, waren hier viele prominente Politiker inhaftiert.

Karl III. gründete 1762 in Segovia die Königliche Artillerieschule unter Graf Felix Gazzola. Die Hochschule zog am 16. Mai 1764 in den Alcázar ein. Dieses Lehrzentrum wurde zum Vorbild für eine aufgeklärte militärische Ausbildung.

Dank der Stiche von José María Avrial y Flores aus dem Jahr 1839 wurden die schönen Decken der großen Säle nach einem Brand im Jahr 1862 originalgetreu restauriert.

Das Allgemeine Militärarchiv, das im Alcázar verblieb, wurde 1898 im ersten Stockwerk eingerichtet.

Im Jahr 1931 wurde es zum kunsthistorischen Denkmal erklärt.