C'est en 1361 que Raymonde de Saysse lègue à l'ordre de Saint Bruno sa métairie de Boussac sur laquelle est érigée la Chartreuse.
20 Prieurs s'y succèdent jusqu'au XVIème siècle. Les troubles causés par les guerres de religion obligent les moines à se réfugier à Carcassonne puis à Toulouse. Ce n'est qu'en 1674 que leur retour à Castres s'effectue. Ils en seront expulsés définitivement en 1799.
L'espace patrimoine "Les chartreux" est installé dans une salle médiévale de l'ancien château, sous l'église Saint André au centre du bourg, à environ un kilomètre de l'ancienne chartreuse dite « de Notre Dame de Beauvoir ». Il réunit des ouvrages des XVIème, XVIIIème et XVIIIème siècles, ainsi que de nombreux documents, objets de culte et vie courante.