La ville, est très réputée pour ses maisons sur l'Agout, ses balades à bord du Coche d'eau sur la même rivière et pour son équipe de rugby: le Castres Olympique. Les habitants de Castres sont appelés les Castrais.