La présence du majestueux château renaissance, un des rares dans le sud ouest de la France vaut à la commune une histoire riche, forte et mieux connue que celle des communes voisines.
Plusieurs thèses autour de l’histoire du château nous fournissent quantité d’informations.
Vestiges romains
Silex et grattoirs retrouvés sur les terrasses nous prouvent que le site était occupé dès le néolithique.
La voie romaine reliant Toulouse à Saint Bertrand de Comminges traverse la commune sur 3 kilomètres, l’habitat y est dense et les vestiges d’une conduite d’adduction d’eau en terre cuite permettent de penser que les terres avaient été savamment irriguées.
La borne géodésique
Erigée au XVII° siècle, elle sépare les provinces de Guyenne et du Languedoc. Saint Elix est situé en un point particulièrement stratégique.
Son blason séparé en quatre parties présente le château surmonté d’une couronne d’or, c’est le blason des Montespan, a côté , les trois fleurs de lys d’or , symbole du Roi de France évoque l’évêché de Rieux dont dépend la ville au XV° siècle , la découpe de la croix de Malte représente le Comminges et la croix d’or évidée et pommelée renvoie à la province du Languedoc.
L’Elysée
« Petit Trianon » du Château Renaissance , il fut bâti à la demande de Jean Charles Ledesmé . Dernier Baron de la lignée à occuper le château au XVIII° siècle.
Le Caveau des De Suares d’Alméda
Famille de notables originaire du Portugal, deux générations de De Suares d’Almeda occupèrent le château après la famille Carrère, (fin XIX° début XX° siècle) descendants de Françoise de la Roche Courbon épouse du Baron Ledesmé.
Le caveau en brique et parement abrite la dépouille d’un membre de la famille qui reçut le Prix des Comices des mains de Paul Sabatier, Prix Nobel de chimie.