Mais le castel tel qu'il apparaît aujourd'hui n'est que celui du XIVème siècle, postérieur à la grande épopée de la croisade. L'ancien château existe encore, bien que délabré et détruit au cours des siècles par les habitants des alentours venus prendre, ici une cheminée là une pierre sculptée ailleurs des fragments complets d'appareillage.

Il était une demeure de seigneurs puissants dont la souche se perd dans la nuit des origines des familles occitanes. Bernard de Congost en était le maître vers 1200. Il était le beau-frère de Ramon de Péreilhe, seigneur de Montségur et comme son épouse Alpaïs, il était cathare.
Lui-même mourut « consolé » à Montségur en 1232 quant à leur fils Gaillard, il fera partie de l'expédition contre les inquisiteurs d'Avignonet en 1242.
La vaste cour était ceinturée de quatre tours différentes les unes des autres. Il faut imaginer ici une véritable ferme, mieux encore un village autonome avec ses artisans, son organisation interne, ses marchands. Diverses maisons ou échoppes devaient être construites de part et d'autre de cette cour. La « tour bossue » aux pierres taillée en bossage est mentionnée dès 1376 et est encore en assez bon état. Tandis que la grande tour d'angle qui joignait la face est et la muraille sud du château a entièrement disparue depuis 1825

Au centre de cette paroi sud trône la « tour Gailharde » dite aussi « tour des chiens » qui vient de faire l'objet d'une superbe restauration de la part de l'actuel propriétaire. Car Puivert est le seul des grands châteaux dits cathares qui soient demeuré propriété privée. Aujourd'hui, cette tour, jadis totalement ruinée, est actuellement habitable sur trois niveaux.