On raconte qu’au temps de Charlemagne une forteresse existait déjà en cet endroit dominant l’ancienne route de Bretagne. Les plus anciens vestiges mis au jour par les fouilles en cours remontent au 10ème siècle. Parmi les compagnons de Guillaume partis à la conquête de l’Angleterre figure Raoul 1er de la Pommeraye. Cette famille à la tête de nombreuses possessions en Angleterre, fonda l’abbaye du Val, dans la paroisse voisine de Saint-Omer. Le château et son site furent l’objet d’aménagements jusqu’au 13ème siècle, avant d’être abandonnés. Ses ruines pittoresques, dont l’impressionnante tour porche, au milieu des bois créent une ambiance romantique propice à la rêverie et à la naissance des légendes, dont celle de Mellia la blonde.