La ville fut une capitale de la dynastie saadienne. Elle accueille par ailleurs des tombeaux saints pour les Juifs.
La ville de Taroudant est défendue par 6 km de remparts dans lesquels s'imbriquent 130 tours et 19 bastions d'angle reliés les uns aux autres par un chemin de ronde, ce qui fit de cette ville une citadelle imprenable.
Les remparts permettent le passage par neuf portes voûtées d'architecture mauresque, disposées principalement aux points cardinaux. La muraille compte 5 portes anciennes et de nouvelles ont été bâties récemment pour faciliter la circulation dans la ville.