Ad iniziare l'opera del castello sia stato Manfredi III Chiaramonte , è costruito su una rocca calcarea ad un’altezza di circa 80 metri. Quasi alla base della roccia si trova una cinta muraria posta a difesa della stradella di accesso. Sulla vetta si trova una seconda cinta muraria che racchiude la parte residenziale del castello.

Dopo essere saliti attraverso la strada di accesso e dopo aver attraversato un ponte levatoio si accede attraverso una porta ad arco all’interno della prima cinta muraria. Attraverso la seconda rampa si arriva all’ingresso vero e proprio del Castello.  Lo stile arabo-normanno, l'architettura medievale, le volte a crociera, le bifore che danno su uno strapiombo di decine e decine di metri, le ampie sale, i misteriosi sotterranei e la posizione così inaccessibile, hanno acceso per tanti secoli la fantasia popolare, facendo nascere attorno ad esso leggende e storie incredibili.

La più popolare è senza altro quella delle tre principesse, " li tri beddi soru", murate vive in una stanza triangolare del castello, denominata in seguito "A stanza di li tri donni".

Le versioni che si sono tramandate sono diverse. La più diffusa parla di un re che dovendo partire per la guerra chiuse in questa camera tre donne di sua famiglia (tre figlie, tre sorelle, la sposa e due figlie, secondo l'immaginazione dei diversi contadini, che narrano" lu contu"). Avendole bene approvvigionate si mise in cammino tranquillamente, sicuro di averle lasciate in luogo ben munito. Ma la guerra fu più lunga di quanto egli credeva ed al ritorno trovò le tre donne morte, che tenevano addentate rabbiosamente le scarpe per gli stimoli atroci della fame.

Altri raccontano che le tre donne furono rinchiuse e fatte morire di fame, perché trovate infedeli.