La historia de la imagen urbana que ofrece hoy Frigiliana tiene su origen en las primeras edificaciones que aquí se levantaron durante la dominación musulmana de la Península Ibérica, en Al andalus.
Sin que hasta el momento haya habido estudios puntuales al respecto, sabemos que la imagen construida, emergente, que admiramos hoy y que conforman sus calles y casas, estuvo directamente relacionada con la existencia de un pequeño caserío que se extendería a los pies de la fortaleza que existió sobre el cerro que domina el pueblo, el castillo de Lizar. Su fecha de construcción no está arqueológicamente determinada, aunque algunos autores la llevan en torno al siglo XI, y otros incluso antes, al siglo IX, ante la posibilidad de que esta fortaleza interviniera activamente en la celebre revuelta que comandó Omar Ben Hafsun contra el Emir de Córdoba, ya que sabemos que hubo una importante actividad bélica muy cerca de aquí, en la vecina Torrox.