Swarzewo leży nad Zatoką Pucką, z widokiem na Puck i Półwysep Helski. Według legendy figurę Matki Bożej pozostawili przy studni na brzegu zatoki holenderscy żeglarze, ocaleni z burzy dzięki modlitwie. Ponieważ wieś nie miała kościoła, figurę przeniesiono do Helu, a po reformacji mieszkańcy Helu mieli wrzucić ją do morza, skąd w cudowny sposób wróciła do Swarzewa. Nad brzegiem, w miejscu odnalezienia, stoi kaplica ze źródłem. Obecny neogotycki kościół, trzeci w tym miejscu, zbudowano w 1880 roku; w ołtarzu głównym znajduje się figura, odsłaniana tylko w określonych porach, a w świątyni przechowywana jest mapa Półwyspu Helskiego z 1684 roku. Na ścianie kościoła namalowano cztery tajemnice radosne różańca. To właśnie ze Swarzewa wyruszyła pierwsza Kaszubska Piesza Pielgrzymka 25 lipca 1982 roku, w 600-lecie obecności obrazu jasnogórskiego w Polsce.