A pouco mais de um quilómetro da vila de Vagos, situada num local campestre, pitoresco e aprazível, convidativo à oração, fica a ermida de Nossa Senhora de Vagos cheia de história e tradição. Consta que antes do actual santuário, existiu outro a dois quilómetros deste de que há apenas vestígios de uma parede bastante alta, denominada «Paredes da Torre», cercada presentemente por densa floresta mas de fácil acesso. Tradições antigas com várias lendas à mistura, dizem que perto da praia da Vagueira naufragou um navio francês dentro do qual havia uma imagem de Nossa Senhora que a tripulação conseguiu salvar e esconder debaixo de arbustos que na altura rareavam no areal.

Dirigindo-se para Esgueira, freguesia mais próxima, a tripulação contou o sucedido ao Pároco que acompanhado por muitos fiéis, veio ao local onde tinham colocado a imagem, mas nada encontrou. Dizem uns que Nossa Senhora apareceu a um lavrador indicando-lhe o sítio onde se encontrava o qual aí mandou construir uma ermida; dizem outras que apareceu em sonhos a D. Sancho primeiro quando se encontrava em Viseu que dirigindo-se ao local e tendo encontrado a imagem, mandou construir uma capela e uma torre militar a fim de defender os peregrinos dos piratas que constantemente assaltavam aquela praia. Mas parece que a primeira ermida e o culto da Nossa Senhora de Vagos datam do século doze. O que fez espalhar a devoção a Nossa Senhora de Vagos foram os milagres que se lhe atribuem. Entre eles consta a cura de um leproso, Estevão Coelho, fidalgo dos arredores da Serra da Estrela que veio até ao Santuário. Ao sentir-se curado além de lhe doar grande parte das suas terras, ficou a viver na ermida, vindo a falecer em 1515. É deste Estevão Coelho, que conta a lenda ter quatro vezes a imagem de Nossa Senhora de Vagos, sido trazida para a sua nova Capela, quando das ruínas da Capela antiga (Paredes da Torre), e quatro vezes se ter ela ausentado misteriosamente para a Capela primitiva. Só à quarta vez se reparou que não tinham sido transferidos os ossos de Estêvão Coelho, e que as retiradas que a Senhora fazia eram nascidas de querer acompanhar o seu devoto servo que na sua primeira Ermida estava sepultado; trasladados os ossos daquele, logo ficou a Senhora sossegada e satisfeita. Supõe-se que ainda hoje, à entrada do Templo existe uma pedra com o nome de Estêvão Coelho.

Outro grande milagre teve como cenário os campos de Cantanhede completamente áridos e impróprios para a cultura devido a uma seca que se prolongava há mais de quatro anos. A miséria e a fome alastrou de tal maneira por aquela região que todo o povo no auge do deserto elevava preces ao Céu, para que a chuva caísse. Até que indo em procissão à Senhora da Varziela, ouviram um sino tocar para os lados do Mar de Vagos. Toda a gente tomou esse rumo. Chegados à Ermida de Nossa Senhora de Vagos, suplicaram a Deus que derramasse sobre as suas terras a tão desejada chuva o que de facto sucedeu. Em face de tão grandioso milagre, fizeram ali mesmo um voto de se deslocarem àquele local de peregrinação, distribuindo ao mesmo tempo as pobres esmolas, dinheiro, géneros, etc. ... Ainda hoje essa tradição se mantém numa manifestação de Fé e Amor. Ainda hoje o pão de Cantanhede continua a ser distribuído em grande quantidade no largo da Nossa Senhora de Vagos.

Perto do actual santuário que pelas lápides sepulcrais aí existentes, remota ao século dezassete, construíram-se umas habitações onde de vez em quando se recolhiam em oração os Condes de Cantanhede e os Srs. de Vila Verde. Hoje, já não existem vestígios dessas habitações.