Jednou z dominant Nasavrk je ZÁMEK, který stojí na místě bývalé tvrze. Ta byla vybudována jako strážiště pro celníky, kteří udržovali bezpečnost na zemských stezkách. Dodnes se z původní tvrze dochovala část zdiva, která byla přístupná chodbou pod zámkem.
Kolem roku 1600 nechal Václav Záruba z Hustířan zbourat nevyhovující tvrz a na jejím místě vystavěl nový moderní dvoupatrový zámek se dvěma věžičkami, zdobený psaníčkovými sgrafity. Před rokem 1839 byla vedle zámku postavena velká úřední budova, dnešní městský úřad a menší budova, kde bylo později zřízeno vězení. Roku 1840 došlo k poslední zásadní přestavbě, kdy bylo sníženo druhé patro.
Roku 1939 koupila celý zámecký objekt Lidová záložna, která v dolní místnosti zřídila kancelář a v další prodejnu spotřebního zboží. Do zámku se také přestěhoval tělocvičný spolek Orel, který postavil v horní chodbě tělocvičnu. Všechny místnosti byly obsazeny místními občany. Jeden čas zde byla i knihovna, prodejna zeleniny, sběrna mléka a výrobna prádla. Prostory nebyly udržované.
Roku 1987 se do zámku přestěhovala Krajská správa Chráněné krajinné oblasti Železné hory. Zámek je ve vlastnictví Města Nasavrky a je kulturní památkou ČR. V budově zámku dnes najdete informační centrum, obřadní síň, výstavní prostory a stálou expozici „Po stopách Keltů„.
