Es wurde von Philipp II. gegründet, einem Mann, der die Natur liebte, und ist ein großartiger Ort zum Nachdenken. Dieses Kloster wird von Manuel Azaa, der dort die Schule der Augustinermönche besuchte, sowohl in seinen Memoiren als auch in dem Buch El jardn de los frailes (Der Garten der Brüder) erwähnt. Er diente den Schülern sowohl als Studien- als auch als Erholungsraum. Die Gärten gehörten dem König, der sie als einen Ort für den Anbau von Obst, Gemüse und Heilpflanzen sowie als einen Ort der Schönheit mit Brunnen und Blumen betrachtete. Der Monarch stellte die besten Gärtner aus dem Ausland und aus Spanien ein und sammelte Entwürfe von Gärten in Frankreich, Italien, England und den Niederlanden. Dieser nun spartanische Garten war früher mit Blumen bedeckt, die eine Art Wandteppich bildeten, und wurde deshalb mit den Teppichen aus der Türkei oder Damaskus verglichen. Außerdem war er ein echter botanischer Garten mit 400 aus der Neuen Welt importierten Pflanzen, bis zu 68 verschiedenen Blumenarten, von denen viele eine therapeutische Wirkung hatten.

Im Südwesten des Gartens befindet sich die Rekonvaleszenzgalerie oder der Sonnenkorridor, ein großer, lichtdurchfluteter Bereich, in dem sich die Kranken ausruhen konnten. Vielleicht wurde er, um die Abgeschlossenheit der Mönche zu gewährleisten, durch den Turm der Apotheke gestützt. Im Gegensatz zur offeneren Fassade zu den Gärten hin, wo die Bogenlösung mit Bögen über ionischen Kolonnaden einzigartig für das Kloster ist, steht die nüchterne Fassade nach Westen hin.