La construcción del castillo empezaron los caballeros Templarios y la acabaron en el siglo XV los Monteses. En 1411 el papa Luna, Benedicto XIII, transformó el castillo en cede pontificia. Este solitario Papa, que tenía en su poder la tiara de San Silvestre, estaba completamente convencido que él era el único heredero legítimo de San Pedro. La lucha por su legitimidad, en medio de Cisma de Occidente, le llevo al aislamiento y a la muerte entre estos muros en 1423. Destaca en todo conjunto la sobriedad y solidez de su construcción. La agreste roca y las imponentes murallas constituyeron el último refugio de unos hombres superados por su tiempo.