Uno de los castillos más antiguos, más grandes y mejor conservados de España y de Europa

Fue el califa Al-Hakam II, hijo de Abderramán III, quien ordenó la construcción de esta fortaleza musulmana, pero mucho antes, en la Edad del Cobre, aparecen los primeros vestigios de ocupación de este solar. En su interior se adivinan algunos muros de origen íbero y un mausoleo romano de carácter sacro, pero es el paso de los almohades el que determina la estabilidad del edificio al dotarlo de una protección muy elevada, una puerta de entrada con dos arcos de herradura califal y un gran aljibe ('al-yubb'), de planta rectangular, Esta cisterna o pozo servía para almacenar agua y estaba dividida en dos salas separadas y cubierta por una bóveda de cañón.

El recinto estaba destinado al acuartelamiento de las tropas bereberes alistadas para las campañas anuales contra los cristianos y pasó en los siglos XII y XIII de unas manos a otras. Los castellanos la conquistaron por primera vez en 1147 por Alfonso VII, fue recuperada por los almohades y ganada otra vez por las tropas de Alfonso VIII y Alfonso IX, este último en 1189. Finalmente, la fortaleza fue tomada tres días después de la batalla de Las Navas de Tolosa (1212) y conquistada ya definitivamente en 1225 por Fernando III el Santo que la incorporó a la ciudad de Baeza, de la que dependió hasta 1626, año en el que Felipe IV concedió a Baños el título de villa.

La ocupación castellana del castillo dio paso a una serie de reformas interiores y exteriores, utilizándose la técnica constructiva de la mampostería y el sillar. En el sector norte de la fortaleza se redujo el espacio habitado para levantar un edificio más residencial y palaciego que ya no tenía un carácter militar. Se construyó entonces el alcazarejo y se sustituyó la torre islámica por una Torre del Homenaje que los vecinos del pueblo llaman popularmente 'Almena Gorda'. Desde esta posición, las vistas del pueblo y del patio de armas son magníficas.

En la Guerra de la Independencia la fortaleza sufrió algunos desperfectos lo que llevó a las autoridades del pueblo a instalar en este recinto el cementerio parroquial colocando algunos nichos en los muros del castillo, lo que permitió curiosamente su mejor conservación. En 1969, 38 años después de que fuera considerado 'monumento nacional histórico artístic', el Consejo de Europa reconoció a a este castillo como una de las fortalezas musulmanas mejor conservadas de Europa al mantener su recinto exterior original y desde entonces tiene el privilegio de enarbolar la bandera de la Unión Europea en lo alto de su Torre del Homenaje. Ya en el siglo XXI se organizaron algunas excavaciones en el patio de armas y se descubrieron numerosos restos de las antiguas viviendas que hubo en el interior del castillo.