Las defensas construidas en torno a la localidad conquense de Alarcón incluyen el castillo de Alarcón. Esta fortaleza consta de cinco torres periféricas aisladas cuidadosamente situadas, así como de un recinto amurallado que alberga el casco urbano y el propio castillo. Desde 1992 está declarado Bien de Interés Cultural.
La fortaleza, de origen árabe, dependió primero del emirato de Córdoba. Se sometió al dominio toledano tras la disolución del califato de Córdoba y la creación de los reinos de taifas. Mientras estuvo en manos musulmanas, actuó como baluarte protector a lo largo de sus conflictos internos. El jefe del ejército de Alfonso VIII, Fernán Martnez de Ceballos, sitió la ciudadela durante nueve meses en 1184 antes de tomarla para su monarca el día de San Andrés. Se le concedió el derecho a adoptar el nombre de la ciudad como apellido, lo que hizo, convirtiéndose en Martnez de Alarcón y estableciendo este nuevo linaje.
A partir de entonces, el castillo de Alarcón mereció la atención de los sucesivos reyes de Castilla, que lo reconstruyeron y ampliaron, otorgándole además fuero propio (1186) y el señorío de extensas tierras circundantes. Según el padre Burriel, el alfoz estaba formado por 63 asentamientos, entre ellos Belmonte, Castillo de Garcimuoz, Albacete, La Roda y Villarobledo. El 18 de octubre de 1194, Alfonso VIII donó oficialmente este castillo, la mitad de los portazgos de Alarcón y Alconchel, la aldea de Las Gascas, Villamelendro, Villasila y otras propiedades a la Orden Militar de Santiago en Alarcos. La Orden recibió un segundo regalo de Alfonso VIII un mes después, el 24 de noviembre, en Toledo, donde también le entregó a cambio el castillo de Alarcón, la quinta parte de las rentas de la villa, la aldea de Las Gascas, y la mitad de los portazgos de Alarcón y Valera de Roa, las aldeas de Villasila y Villamelendro. El concejo de Alarcón participó en la crucial batalla de las Navas de Tolosa en 1212 aportando fuerzas propias además de las del rey.
Fernando IV concedió al infante don Juan Manuel el señorío de Alarcón, que incluía la fortaleza, condicionalmente en 1297 y formalmente el 23 de marzo de 1305, a principios del siglo XIV. En este honroso escondite escribió varias de sus obras literarias. Una vez fallecido el príncipe, su hijo Fernando Manuel de Villena y luego su nieta Blanca tomaron posesión de ella. Pedro I lo encontró más tarde y lo devolvió al patrimonio real. Alfonso de Aragón el Viejo la recibió de Enrique II y fue creado marqués de Villena en 1372, pero Enrique III lo destituyó en 1395, devolviéndola a la Corona. Finalmente, don Juan Pacheco, marqués de Villena, la recibió en el siglo XV. En una disputa con los Reyes Católicos, el marquesado representado por don Juan y su hijo don Diego López Pacheco se puso del lado de Juana la Beltraneja. En este conflicto se impusieron y consiguieron mantener las plazas fuertes de Belmonte, Garcimuoz, Alarcón y el Ducado de Escalona.
El castillo de Alarcón experimentó el deterioro propio de una estructura desocupada y abandonada tras la Edad Media. En 1712 pertenecía al marqués de Aguilar y los maestros de obras redactaron un informe en el que declaraban que era necesario reconstruirlo rápidamente para evitar su derrumbe.
Según una leyenda sobre el castillo de Alarcón, los bloques de piedra de la muralla que lo rodeaba estaban manchados de sangre, y aún pueden verse manchas oscuras y rojizas entre la argamasa.
El castillo sirvió antaño de residencia al señor de la región. Su hermana era bastante atractiva y apta para el matrimonio, y atrajo a numerosos pretendientes. Uno de ellos era el hijo malhumorado de un señor vecino; cuando dio el primer paso para pedir su mano, fue expulsado bruscamente del grupo.
Más tarde, el señor del castillo se enteró de la intensa animadversión del pretendiente rechazado y de sus complots para matarlo y secuestrar a su hermana. Por ello, se esmeró en preparar la recepción cuando un día se presentó un desconocido con el propósito de reunirse con él en secreto, ya que creía que el hombre podría estar planeando matarle.
Una vez confirmadas las sospechas, los criados mataron al forastero justo cuando se disponía a atacar al señor sujetándole y mezclando su cuerpo con el mortero que estaban preparando para varias obras que se estaban llevando a cabo en el interior del castillo.
Alejandro de Alarcón y la duquesa Julia de Alarcón, que protegieron a numerosas personas durante las batallas del país y saltaron a la fama en la zona, estaban a cargo del castillo en 1720.
Don Rafael Lázaro Alvarez de Torrijos compró el castillo y "cuatro o cinco torrecillas más" a José Mara Bernardino Fernández de Velasco, duque de Fras, por 20.000 reales (Madrid, 5 de junio de 1863).
La familia lvarez Torrijos Torres, nacida en La Almarcha pero con antecedentes familiares paternos en Gascas, fue expropiada de él en 1963 por Manuel Fraga Iribarne, ministro de Información y Turismo. Fue renovado inicialmente como Parador Nacional de Turismo Marqués de Villena, y el mismo ministro lo inauguró el 21 de marzo de 1966.