NOVÝ ZÁMEK, také zvaný „panský dům“, má čp. 2. Toto stavení bylo původně měšťanským domem Víta Paseckého, votického purkmistra v roce 1614. K domu patříval slušný statek s mnoha pozemky a dvěma rybníky. Když Pasecký uprchl před náboženským pronásledováním z města, zabral roku 1625 Sezima z Vrtby dům i statek a postoupil jej svému regentu Janu Košickému r. 1627 a po čtyřech letech B. Kořenskému z Terešova. V roce 1775 budovu koupil Arnošt František z Vrtby a udělal z něj znovu panské sídlo. Majitelé panství v něm ovšem bydleli až od poloviny 19. století. Po znárodnění v roce 1948 v objektu sídlil národní podnik Tesla. Dnes je objekt v soukromých rukou. Je ve špatném stavu Z původního starého domu, se zachovaly v přízemí pěkné klenby. Památkově chráněn od 3.5.1958
STARÝ ZÁMEK je vedle kostela, kde je náměstí Kašpara Kaplíře ze Sulevic. Je to někdejší tvrz, která se připomíná roku 1542, ale stála již v 15. století. Bývala opevněna valy a hlubokým příkopem. Dílčí cedule z roku 1566 připomíná její dvě části: starou tvrz a nové stavení vystavěné na baště. Hrabě Ferdinand František z Vrtby přistavěl jinou část a přeměnil tvrz v zámek. Bylo v něm podle dílčí cedule 25 velkých i malých pokojů, dílem klenutých, 13 komor, „palác“, 2 „taflštuby“ (světnice s prkennými stropy a dřevem obkládanými stěnami), 2 sklepy, 2 špižírny, kůlna, „marštale“ na 30 koní a ve dvoře kašna a pivovar. Střecha byla kryta prejzy. Na jižní straně zámku býval okrouhlý balkón v podobě nízké věže, zvenku na něj vedly točité schody. Ve vyhořelém zámku dal později zřídit byty pro své úředníky a do levého křídla (vedla kostela) umístil pivovar, který před tím byl dál ve dvoře. V jedné přizemní části zámku byla od 18. století panská šatlava.
Zámek zvaný „starý“ na rozdíl od nového“ vedle kláštera tvoří dvě budovy: bývalý pivovar a dlouhá jednopatrová budova, mezi nimiž je klenutá brána a vchod do dvora. Obě budovy mají krásné renesanční štíty ze 16. století, jež byly požáry ušetřeny. Zdobí je svislé, hladké a v omítce povystouplé pruhy (lizény), které se prvně vyskytovaly na románských, později i na gotických stavbách. Tyto pruhy rozdělují oba štíty na obdélná pole. Kraje štítů byly zakončeny křivkami a kyticemi. Ve zdi zámecké budovy mezi dolními okny je zasazena DESKA s nápisem od Jana Herbena: „Zde žil Kašpar Kaplíř, rytíř ze Sulevic, jenž 21. června 1621 sťat byl na Staroměstském náměstí v Praze pro své náboženství a svobodu vlasti“. Slavnost odhalení se konala v neděli 19. června 1921. Z někdejší tvrze se zachovaly (kromě štítů a hlavních zdí) sklepy a podzemní chodby. Jednou chodbou, která končila někde za městem, se zachránil Pavel Osterský roku 1621. Ve dvoře je bývalý lihovar (přestavěn na sušárnu brambor), byty a kanceláře. Je tu i špejchar z 1. poloviny 18. století se sloupy s hlavicemi.
