Un fossé défensif de 26 mètres de profondeur doit être franchi pour accéder au château. Un pont-levis permettait autrefois de traverser ce fossé, qui a toujours été sec ; aujourd'hui, un pont en pierre construit à l'époque de Philippe II et une passerelle en fer permettent de le faire.

Les pierres extraites pour la construction du château ont été utilisées pour creuser le fossé, qui est d'origine naturelle. Au fond de la douve, à 23 mètres de profondeur, on peut encore voir des pierres de taille à moitié taillées qui n'ont jamais été utilisées.

La rigole de la douve, qui devait être à l'origine une entaille naturelle dans la roche, a été élargie par Henri IV, puis à nouveau lors de la rénovation du château par Philippe II. Sous le règne d'Henri IV, elle servait à abriter des ours et à recueillir des pierres pour la construction des défenses du château.

À l'extrémité sud de la rigole, à gauche du fossé, on peut observer une portion de celui-ci avec la morphologie qu'il devait avoir sous le règne d'Henri IV et que la réforme de Philippe II n'a pas élargie.