V blízkosti mostů přes řeku Ploučnici stojí raně barokní ZÁMEK, přestavěný ze staršího sídla. Jedná se o dvoukřídlou, ve většině jednopatrovou budovu s polopatrem, pouze na čelní stěně je nízké druhé patro, umístěné nad střechou, s útlou středovou věžičkou. Zámek, přilehlé budovy i park u něj jsou chráněny jako kulturní památka České republiky.
V 16. století byla Horní Police připojena k zákupskému panství a v roce 1632 přešla do majetku vévodů sasko-lauenburských. Za vévody Julia Františka Sasko-lauenburského došlo v Horní Polici k bohaté stavební činnosti, protože se Police stala významným poutním místem. Z toho důvodu byl gotický kostelík přestavěn v rozsáhlejší barokní kostel, který byl později v 18. století ještě jednou rozšířen. Starý panský dům byl nahrazen jednopatrovým barokním zámkem.
Další majitelka vévodkyně Anna Marie Františka nechala zámek zvýšit o jedno patro, čímž byla nezvyklým způsobem, po vzoru bazilik, osvětlena střední chodba oválnými okny. Na přestavbách zámku se podíleli Guilio a poté Octavio Briggiové z Litoměřic.
Zámek sloužil jako správní budova a částečně jako ubytovna pro duchovenstvo, pomáhající při církevních obřadech během poutí, které byly navštěvovány desetitisíci věřících.
Při zámku byl také vybudován pivovar s rozsáhlými sklepy. Dodnes jsou velké pivovarské sklepy v dobře zachovalém stavu.
V 19. století byl v zámku přechodně umístěn jezuitský seminář.
Součástí zákupského panství byla Horní Police až do počátku 20. století. Po první světové válce byl zámek konfiskován Habsburkům a byl přidělen Státním lesům v Zákupech. Později byla v zámku záložna, mlékárna, od roku 1926 česká škola, která byla v roce 1938 zrušena a zařízení převezeno do Loučeně u Nymburka. V roce 1938 zde byla také četnická stanice.
Bezprostředně po válce byl zámek využit jako sklad nábytku a zařízení, které noví přistěhovalci nechtěli používat. V letech 1946-55 zde byla opět škola.
Od roku 1949 zámek také využívalo JZD. V prvním patře zadního zámeckého traktu býval sál s krbem a krásnými lustry, kde se ještě v roce 1949 konala mikulášská nadílka pro děti. Pak se z přepychových prostor s parketovou podlahou stal kravín a „sídlily“ zde krávy. JZD užívalo objekt zámku až do roku 1991, kdy byl převeden do správy Pozemkového fondu ČR. Téhož roku se obec rozhodla získat zámek a po řadě dlouhých jednání byla podepsána smlouva mezi Pozemkovým fondem a obcí Horní Police o bezúplatném převodu zámku na obec s platností od 1. června 1997. Od té doby se obec snaží o revitalizaci celého areálu.
V dnešní době je zámek veřejnosti nepřístupný, podle některých zdrojů se zde příležitostně konají výstavy a akce pro veřejnost.
