De los siglos en que Frigiliana fue un pueblo andalusí se conserva en muy mal estado el que debió ser el referente simbólico más destacado durante aquel tiempo, el castillo de Lizar. Su destrucción, su demolición total se debe, según las crónicas, a una orden de don Luís de Requesens, Comendador de Castilla, con el beneplácito del rey Felipe II, quien aspiraba a ver desaparecer el pueblo después de la sublevación morisca de 1569, que tanto quebradero de cabeza le había causado. Su intención era que jamás volviera a ser refugio de moriscos.
A pesar de que son pocos los vestigios que han perdurado del castillo, éstos cuentan con especial protección por la Declaración genérica sobre los castillos de España de 1949, y la Ley sobre el Patrimonio Histórico Español de 1985, a las que se sumó la protección de la Junta de Andalucía en 1993.
Restos arqueológicos de la muralla del Castillo de Lizar.
Hasta el momento, no sabemos la fecha exacta de construcción del castillo, aunque algunos autores la sugieren en el siglo IX, poniéndolo en relación con la revuelta de Omar Ben Hafsun contra el Emir de Córdoba, cuyas acciones militares llegaron hasta aquí, y otros la llevan al siglo XI, coincidiendo con la construcción de otros recintos similares por parte de los almorávides.
Tampoco sabemos exactamente cómo se estructuró su trama interior, ya que no se han realizado excavaciones arqueológicas que puedan informarnos a este respecto. Si conocemos parte de su trazado exterior, ya que se conservan algunos lienzos de muralla de poca altura y restos de muros que nos hablan de una ocupación que cubría la totalidad de la corona del cerro. En uno de estos puntos, hacia el noreste, se puede ver con claridad como se preparó la base de la muralla mediante una plataforma de ladrillo macizo, para adaptar la base de piedra del cerro a la construcción de tapial (mezcla de tierra con pequeñas piedras, paja, arena, etc. muy prensada) y piedras con los que se levantarían los muros exteriores. La defensa del castillo contaría con seguridad con varias torres y al menos un acceso desde la cara sur, hacia el pueblo, aunque también pudo tener otra puerta desde el norte, ya que desde ese punto el acceso es más fácil.
Desde esta altura podemos apreciar unas magníficas vistas sobre la costa, en la que otras torres de menor entidad darían aviso mediante señales de humo y fuego ante la presencia de navíos enemigos. Una de estas torres es ubicada por algunos conocedores del lugar dentro del casco urbano, en el actual adarve del Torreón, para apoyo del castillo y protección de la aldea, que en ese caso si que podría denominarse alquería. Todo esto es, por el momento, una hipótesis sin contrastar.
Luis de Zúñiga y Requesens, Comendador Mayor de Castilla.