Το βυζαντινό κάστρο της Ξάνθειας βρίσκετεται στα βόρεια της σημερινής πόλης, επάνω στην κορυφή του λόφου που ελέγχει τη δίοδο προς την ενδοχώρα.

Χρονολογείται από το 12ο μ.Χ. αιώνα και έχει σχήμα ακανόνιστου τραπεζίου με την ακρόπολη στην κορυφή του λόφου.

Σώζονται πολλά τμήματα των τειχών, πύργοι, τοξωτές πυλίδες και θολωτές στέρνες.