En el siglo III d. C. se produjo una profunda crisis económica que terminó por destruir el Imperio Romano y muchas ciudades, del esplendor pasaron al olvido, entre ellas, nuestra Itvci Virtus Iulia. De la época posterior a la romana nos ha quedado un castillo que a lo largo de los años ha conocido muchas etapas.

El castillo tiene una planta cuadrada, con muros de mampostería. Las esquinas están reforzadas con torres, macizas en la base y con cámaras abovedadas en la parte superior. También se ha conservado un aljibe para el aprovechamiento de agua en el patio de armas y un horno de pan del siglo XIV. Otras estancias identificadas se corresponden con distintas salas, el patio de armas pavimentado con losas de piedra, y las caballerizas. En el exterior, el castillo posee una línea de muralla, realizada en mampostería