El nombre del monumento deriva de una leyenda según la cual, entorno al 1300, una flota de Turcos desembarcó en las costas de las islas, poniendo bajo asedio precisamente Posada en el intento de conquistarla por hambre. Los habitantes de Posada, para engañar al invasor, hicieron que una paloma se comiera el último manojo de judías, hiriéndolo ligeramente; éste, cayendo en el campamento de los Turcos, reveló el estómago lleno de judías, induciendo a los atacantes a sobrestimar los recursos alimentarios de los isleños.
Hoy del Castillo quedan la Torre central y las ruinas del muro de la frontera.