Uprostřed Horního Prysku stál kdysi kostelík, který ve třicetileté válce zničili Švédové. Na jeho místě byl v roce 1644 postaven nový kostel a roku 1680 byla opodál přistavěna zvonice. Dnešní KOSTEL SV. PETRA A PAVLA stojí uprostřed dosud používaného hřbitova, v jehož ohradní zdi je původní 23 m vysoká, průchozí zvonice z roku 1680. Je to barokní křížově podklenutá průchozí věž, k níž byla v roce 1722 přistavěna márnice z roku 1722, zdobená na jižní straně reliéfem madony. Na věži jsou hodiny, zhotovené roku 1791 šluknovským hodinářem Christophem Frödem.
Na vstupu do areálu je brána s křížovou klenbou. Zvon je ještě starší, z roku 1651. Celý areál kostela byl nákladně zrestaurován v letech 2013-14, takže je opět důstojnou ozdobou obce.
