W 1316 r. na ruinach obecnego zamku miała znajdować się twierdza obronna dowodzona przez rycerza Bolesława I - Dirsco Staruncza. Zamek był w rękach książąt opolskich do 1532 r. - do śmierci Jana Dobrego. W 1578 r. Jerzy IV Prószkowski dzierżawi majątek i kilka lat później rezydencja staje się własnością tego rodu. W II połowie XVII w. z murów gotyckiego zamku zbudowano barokowy pałac. W latach 1921 - 38 zamek był własnością Pruskiej Izby Skarbowej. W czasie II wojny światowej wykorzystywano go na sztab wojsk niemieckich a pod koniec wojny na sztab wojsk radzieckich. Zamek został opuszczony w latach 70-tych XX w. i od tego momentu zaczyna popadać w ruinę. W 1978 i 1987 zawaleniu ulega dach i ściana zewnętrzna. Ruiny były kilkakrotnie wystawiane na sprzedaż, nie widać jednak by właściciele coś przy nim robili a budynek z każdym rokiem grozi całkowitemu zawaleniu.

Majątek w Chrzelicach w 1769 przejęła rodzina Dietrichstein a w 1783 r. zamek został zakupiony przez króla pruskiego Fryderyka II. Gruntowna przebudowa miała miejsce w XIX w., zburzono wtedy wieżę bramną i łączący przeciwległe skrzydła ganek. W latach 1946 - 70 na zamku mieszkało kilkanaście rodzin i znajdowała się tutaj świetlica wiejska. W 1978 r. z powodu burzy runął dach w południowo - zachodnim skrzydle. Równocześnie dewastacji dokonywała okoliczna ludność kradnąc drewniane elementy zamku na opał. W 1987 r. zawaliła się jedna ze ścian zewnętrznych. Dodatkowych zniszczeń dokonywali "poszukiwacze skarbów", zwabieni informacjami, że w zamkowych podziemiach znajduje się skarb templariuszy, którzy podobno na podstawie średniowiecznych dokumentów byli w 1306 r. właścicielami Chrzelic.