Le promontoire sur lequel s’étend aujourd’hui Sidi Bou Saïd était un poste défensif déjà occupé du temps de Carthage, par la suite fortifié (construction d’un ribat) par les Arabes, puis disputé par les forces ottomanes et espagnoles au XVIe.
Mais Sidi Bou Saïd est une ville chargée d’atmosphère religieuse. La ville porte son nom en l’honneur de Abou Saïd Khalafa ben Yahia Tamini el-Béji, grand soufiste respecté qui après une longue existence à Tunis, vint se retirer sur les hauteurs de Sidi Bou Saïd (le « diminutif » de son nom, qui fût attribué à la ville au XIXe siècle), où il fonde une zaouïa et enseigne la religion à partir de 1207. La confrérie ainsi créée sera le point de départ du développement d’un village.
Sidi Bou Saïd meurt en 1231 : il est enterré sur les hauteurs. Son mausolée prend place dans la zaouïa, elle-même accolée à la grande mosquée dont le minaret blanchi, comme le reste des bâtiments du village, se dresse derrière le Café des Nattes.
Aujourd’hui encore, Sidi Bou Saïd est un haut lieu de spiritualité musulmane : tous les ans au mois d’août (deuxième dimanche), durant quelques jours, se tient la fête de la Kharja, fête religieuse en l’honneur de l’ancien soufiste : les croyants défilent dans les pour se recueillir à la zaouïa, avec chants et musiques.