Estos jardines recibieron su nombre porque se cree que el ejército de Al ibn Ysuf acampó aquí en 1109 cuando intentaba retomar la plaza mayor de Madrid. Las primeras mejoras fueron realizadas por Felipe IV, en cuyo reinado se construyeron fuentes y se plantaron diversos tipos de vegetación, aunque la belleza general del lugar estaba bastante descuidada. Debido a la falta de financiación, durante la construcción del nuevo palacio se llevaron a cabo varias iniciativas paisajísticas siguiendo el modelo de los jardines del palacio de La Granja, pero no fue hasta el reinado de Isabel II cuando se iniciaron obras paisajísticas más significativas. En esta época se proyectó un gran parque de estilo romántico y se añadieron las fuentes del palacio de Aranjuez. Tras la muerte de Isabel II, los jardines pasaron por un periodo de dejadez y abandono en el que se perdió parte del diseño. No fue hasta la llegada al trono de María Cristina de Habsburgo-Lorena cuando se iniciaron una serie de proyectos de restauración que dieron a los jardines su diseño actual, basado en el trazado de los parques ingleses del siglo XIX.