L'abbaye se trouve dans la vallée du Tabladillo dans une contrée montagneuse. La vie monastique y a commencé au IXe siècle dans des granges monastiques au moment du début de la reconquête castillanne. C'est à partir du Xe siècle que les documents font mention d'un monastère Saint-Sébastien à Silos.