"Brzy mniši, pro majetkové spory s Milhostem, původní působiště opustili. V letech 1197 až 1199 velmož Slavek (předek Hrabišiců, jinak pánů z Riesenburka) usídlil řeholníky na svém panství v Oseku pod Krušnými horami, na kopci nad klášterem vyrostl v poslední třetině 13. století hrad toho rodu."