Gotycki, obronny zamek w Karłowicach wzniesiony został przez ród von Tschammer ok. 1350 r. nad rzeką Stobrawą. Od 1440 r. przeszedł w ręce rodziny von Bees, najpierw do Michaela von Bees, potem od 1493 r. do Adama von Bees.

W 1565 r. zamek został zakupiony przez księcia brzeskiego Jerzego II i od tego momentu obiekt w Karłowicach staje się zameczkiem myśliwskim brzeskich Piastów. Kiedy w 1675 r. umarł Jerzy IV Wilhelm - ostatni z brzeskich Piastów, karłowicki majątek przechodzi pod domenę królewską. W 1715 r. do zamku zostaje dobudowana barokowa kaplica. Zamek był wielokrotnie przebudowywany i w XX w. często zmieniał swoich właścicieli. Po II wojnie światowej obiekt znalazł się w rękach Skarbu Państwa, jego zarządcą było Nadleśnictwo Państwowe w Brzegu. Brak właściwego nadzoru w tym czasie sprawił, że niestety z obiektu zaczęły systematycznie znikać cenne eksponaty. Dopiero w latach 80-tych XX w. zamek doczekał się prywatnego inwestora, który odremontował zabytek. Niestety wkrótce inwestor zbankrutował a część zamku znalazła się w rękach komornika. Obecnie obiekt wraz z niewielkim parkiem krajobrazowym z XIX w. niszczeje. Smutny obraz przedstawia też zaniedbany młyn stojący obok zawalonego mostu nad suchą fosą, który kiedyś prowadził do zamku.