Z 1104 r. i 1155 r. pochodzą pierwsze wzmianki o tym, że istniał w tym miejscu gród kasztelański. W połowie XIV w. opolscy Piastowie zbudowali na niewielkim wzgórzu zamek o kształcie czworoboku, który był otoczony murem i fosą, a na jego dziedzińcu stała kwadratowa wieża. W XVI w. zamek w Kędzierzynie Koźlu przeszedł w ręce niemieckie. W latach 1558 - 1562 został gruntownie przebudowany - zamkowi nadano wtedy cechy renesansowe. W połowie XVIII w. na terenie Koźla dokonano przebudowy fortyfikacji miejskich, które spowodowały że zamek uległ zniszczeniu.

W 1743 r. obiekt został przekształcony w fortecę, co sprawiło, że budynki straciły swój pierwotny wygląd i charakter. W 1807 r. przedzamcze zwane Nowym Zamkiem przebudowano na szpital garnizonowy. Działania wojenne II wojny światowej dokonały częściowych zniszczeń zamku. Mury obronne zamku pochodzą z XIV w. i zostały podwyższone w II połowie XVI w. Dwie baszty znajdujące się w obrębie murów zostały odremontowane. W jednej z nich znajduje się Muzeum, a druga jest udostępniona dla turystów. Na szczyt baszty można wejść schodami i z górnej platformy podziwiać zamek. W chwili obecnej zamek jest zdewastowany i czeka na remont. Znajduje się w rękach prywatnych i podobno ma zostać przekształcony w hotel.