Pierwotne założenie pałacu w Kaczorowie powstało ok. 1561 r. W 1829 r. zabytek został przebudowany w stylu eklektycznym.

Pod koniec XIX w. pałac został po raz kolejny przebudowany. Obecnie w obiekcie mieści się szkoła podstawowa. Pałac otoczony był parkiem krajobrazowym, którego pozostałości można zobaczyć do dnia dzisiejszego.