BAROKNÍ ZÁMEK je místní dominantou. V polovině 14. století tu stála tvrz, podle níž se psali zdejší vladykové ze Smilkova. Jeden z majitelů, Václav ze Smilkova, také podepsal stížný list v roce 1415 proti upálení Mistra Jana Husa. Na zdejší smilkovské tvrzi se vystřídala řada majitelů.
Koncem 17. století za Talmberků byla tvrz přestavěna v dvoukřídlý barokní zámek. Roku 1724 jej získal František Karel Pacellius u Aldersheimu. Za něho byla zbořena zvonice kostela, která stávala v Arneštovicích u školy, a dal vystavět věž v průčelí kostela. Zařídil při kostele fundační kaplanství, a právě jemu patří znak v zámecké chodbě na stropě. Smilkov i Petrovice zdědil jeho příbuzný Jan Jindřich Bissingen, který zvelebil zdejší panství.
Zámek byl několikrát přestavěn. Koncem 18. století vznikla kolem sídla hodnotná barokní zahrada. Roku 1873 koupil celý statek „Chabrus“ (společnost z Prahy) a od Chabrusu ji převzal roku 1874 JUDr. Mořic Likawetz, advokát v Praze. V roce 1930 koupil zdejší panství pražský továrník F. Kořán. Po roce 1945 zámek sloužil jako domov důchodců, po roce 1989 se stal předmětem dosud neukončených restitučních sporů, kdy chátrá budova i zámecký park a objekt není veřejnosti přístupný.
Zámek je patrová dvoukřídlá budova s půdorysem písmene L a s představeným dvouramenným schodištěm u dvorního průčelí východního křídla. Před zámkem stojí regotizovaná kaple sv. Anny. Zámek obklopuje rozlehlý park, terasovitě upravený jako italská zahrada, který se táhne až k rybníku.