Diu la llegenda que la imatge de la Mare de Déu del Castell era venerada per la gent de Sant Llorenç de Montgai després que un pastor l’hagués trobada mentre pasturava el seu ramat. La va recollir del paratge on la va trobar i va dur-la a casa, però tres cops que la va dur, tres cops que li va desaparèixer del sarró, fins que van decidir anar-la a buscar processionalment i entronitzar-la a l’església, que des d’aquell moment va passar a anomenar-se “de la Mare de Déu del Castell”. Llavors, el senyor feudal, va casar-se amb una donzella a qui quintuplicava els anys, però la noia no es trobava pas a gust al costat del cavaller i es va enamorar del jove patge del senyor. Això no va passar desapercebut pel senyor, al qual l’enveja va corsecar el cor i va decidir de prendre terrible venjança: un dia va organitzar una cacera en la qual només va poder matar una peça i va manar al cuiner que cuinés aquell tall trossejat. A l’hora de sopar ell va manifestar estar desganat, però va exhortar la seva esposa a provar la menja. Ella va contestar que tampoc tenia gana, però ell la va obligar a menjar-ne. La jove només va poder fer un mos, però el cruel cavaller ja en va tenir prou per espetar-li la pregunta de si havia trobat bona aquella menja, per afegir a continuació que el que havia menjat era carn del patge estimat, al qual havia matat. La dama, horroritzada, va anar a demanar ajut i clemència a la Mare de Déu, a la capella del castell, i després de molt plorar, la dama va refer-se i en aquell moment va trobar-se amb el seu patge estimat, més eixerit i gallard que mai. Tenia, però, un clotet a la galta, puix que li mancava el bocinet de carn que ella, sense saber-ho, se li havia menjat. Alhora que el patge ressuscitava, el cavaller moria.
