La date de construction du château de Fitou n’est pas connue, mais elle est fort ancienne. Par son testament daté de 990, la Vicomtesse Adélaïde de Narbonne le lèguait « in vila de Fictorius » à Ermengaud de Narbonne. Son territoire s’étendait sur plus de 3000 hectares. En 1299 le Captal de Burg surpris le château et s’empara du village. En 1389 la famille de Pérignan possédait la plénitude des droits seigneuriaux sur Fitou et accordait à des vassaux les titres et droits qui étaient légitimement leur propriété. Le territoire du château s’étendait jusqu’à la frontière de Salses. Le château par sa situation, fut maintes fois exposé à la guerre, il fut assiégé, brûlé, et reconstruit plusieurs fois. Un grand nombre des seigneurs y régnèrent. Après la chute du château de Montségur et la défaite des Cathares, le Seigneur de Niort, hérétique, se convertit au christianisme et s’établit au château de Fitou. La famille d’Aragon de Fitou fut la dernière Seigneurie a occuper le château jusqu’à la Révolution de 1789. En 1807 un procès-verbal de l’agent cantonal Barrau faisait état d’une masure inoccupée. Le château de Fitou fut l’objet d’un incendie et sa démolition fut ordonnée par arrêté de Police en date du 25 juillet 1841, approuvé par le Préfet de l’Aude le 7 août 1841. Les poutres des appartements du château furent enlevées en1843 pour arranger le presbytère. Le reste fut plus ou moins pillé par les habitants du village. Le château possédait une cour, une terrasse, un pigeonnier en forme de tour à ciel ouvert, volailleries, écuries, tina et patus ouverts attenant au château la chapelle Saint-Roch. Il a été restauré et depuis les années 70, sert à la fois de discothèque, restaurant et musée…Pour autant, il ne devait pas avoir dans le passé la structure actuelle, notamment en ce qui concerne les créneaux.