ZÁMEK nechal na místě původní tvrze vystavět Vilém Dubský z Třebomyslic v roce 1589. Z této stavby se dodnes dochoval půdorys a klenby v přízemí. Z půdorysu je zřejmé, že se jednalo o obdélníkovou stavbu s věží uprostřed. V roce 1643, když byl zámek v majetku Šimona Kratzera ze Schönsperka, ho vyloupili Švédové. Po jejich odchodu byl zámek přizpůsoben hospodářským účelům
V roce 1723 jej těžce poškodil požár a postupně pustl, až jej v roce 1745 dala představená správy nadace brněnského Ústavu šlechtičen Miniati di Campoli přebudovat v barokním slohu. Zachován zůstal obdélníkový půdorys, ale areál byl zvětšen a rozšířen, takže vznikl čtyřkřídlý zámek. Také interiér byl zbarokizován a v předním traktu byla zřízena kaple. Přední část sloužila příležitostným pobytům představených správy nadace, zadní část se stala sídlem patrimoniálních úřadů a po roce 1848 správy velkostatku.
V roce 1874 došlo k další přestavbě zámku, tentokrát ve stylu neorenesance. Tím se výrazně změnil vzhled průčelí a interiérů a střecha byla pokryta břidlicí. Dnes zde vidíme podobu v novorenesance slohu z roku 1874.
Od r. 1964 je sídlem HORÁCKÉ GALERIE se stálou expozicí věnované českému sochařství 20. století, krajinářství a škrdlovickému hutnímu sklu. Dokumentuje dílo nejvýznamnějších osobností regionálního umění. Rozsáhlé soubory pozůstalostí Jana Laudy, Josefa Mařatky, Vincence Makovského, Karla Pokorného, Jana Štursy.
