Po ljudskem izročilu naj bi na tem starem stolpu (ki je edini ohranjeni del nekdanjega mogočnega gradu) strašilo že stoletja.  Legenda pravi, da v ruševinah biva duh nekdanjega graščaka ali grajskega čuvaja, ki ne najde miru in ponoči straši okoliške prebivalce ter popotnike. Najpogosteje naj bi ga slišali ali videli ob polnoči, ko se okoli stolpa sliši rožljanje z verigami ali skrivnostno stokanje. Kot pri mnogih drugih gradovih, tudi za Šaleški grad velja zgodba, da duh pravzaprav čuva skriti grajski zaklad, ki je zakopan nekje pod ruševinami.