W miejscu gdzie jest obecny pałac w Kamieńcu, jako pierwszy stał drewniany zamek, który został prawdopodobnie wybudowany przez Templariuszy. Później w XVI w. ród Kokorzów zbudował w tym miejscu renesansowy zamek. Kokorzowie wywodzili się z Czech a Kamieniec uważali jako swoją siedzibę rodową.

Na początku XVIII w. na zrębach zamku Kokorzów,  Martin Scholtz von Löwenckron postawił pałac barkowy. W 1750 r. właścicielem pałacu został Karol Józef Strachwitz. W latach 1872 -1873 zburzono mur z basztami otaczający pałac, a obiekt rozbudowano w stylu neorenesansowym. W 1910 r. hrabia Günther zu Stolberg przebudował pałac po raz ostatni i w tym kształcie przetrwał on do dzisiaj. W wyniku tej przebudowy obok pałacu powstała kaplica, którą ufundował hrabia Günther. Spełniała ona swoją funkcję do II wojny światowej, podczas której została zajęta przez Rosjan. Dopiero w 2005 r. kaplica odzyskała swój dawny blask.  W 1926 r. po śmierci hrabiego Günthera, pałac przeszedł w ręce jego syna - Huberta, który był jego właścicielem do 1944 r. W tym bowiem roku dekret reformy rolnej sprawił, że Stolbergowie utracili majątek w Kamieńcu. W chwili obecnej w pałacu swoją siedzibę ma Ośrodek Leczniczo - Rehabilitacyjny dla Dzieci. Obok pałacu stoi murowana wieża z kamienia i cegły, która jest określana jako "Mysia Wieża". Przypuszczenia, że ową wieżę zbudowali Strachwitzowie w 1887 r. obaliły prace archeologiczne z 2000 r., które odkryły w tym miejscu pozostałości średniowiecznych budynków. Całość położona jest w parku krajobrazowym założonym przez Strachwitzów, w którym można znależć wiele pomników przyrody.