La atalaya sobre el Congosto de Olvena permitía la defensa del poblado de Castro, cerca del castillo andalusí del Cerro del Calvario, conquistado en 1081 por las tropas aragonesas de Sancho Ramírez. Sobre un tozal, ahora mirador, se elevaba el castillo de Castro junto a la iglesia de San Román, consagrada en 1120 para el culto católico, visible desde el llano con una silueta icónica del arte románico del siglo XII. Abajo queda aún el puente medieval que daba acceso al camino que serpenteaba hacia la población.
La belleza que reviste su exterior, con el simbólico crismón y el ábside semicircular de altos muros, acoge en el interior capiteles historiados, lápidas funerarias y el color del alfarje mudéjar (siglo XIV) en el coro con dibujos exóticos y ordenes religiosos que merecen una visita.
Alrededor de este conjunto se puede imaginar las casas medievales, ahora reconstruidas, que fueron abandonadas paulatinamente para habitar el llano, donde los agricultores cultivaban las especies mediterráneas y era más sencilla la captación de agua en tiempos de paz, asentándose desde alrededor del año 1250 la población en la actual extensión de La Puebla de Castro actual.
