Krąży pogłoska, że być może to właśnie w Kamieńcu templariusze ukryli część swojego bajecznego majątku. Mówi się, że na miejscu pałacu znajdował się kiedyś zamek należący do zakonników. Znani z genialnego planowania skrytek i ukrytych przejść templariusze mieli ponoć połączyć budowlę tajemnymi korytarzami z Ziemięcicami oraz Wieszową. Gdyby komuś jednak brakowało w tej historii jeszcze jakiegoś średniowiecznego zakonu, to wcale nie należy mu się dziwić. Legendy dodają, że w Kamieńcu skarby ukrył wielki mistrz krzyżacki Hermann von Salza.
Obecnie w pałacu mieści się Ośrodek Leczniczo-Rehabilitacyjny dla dzieci.