Zamek w Żelowicach stał już w 1474 r. i należał do rodziny von Tschesch. Od 1706 r. majątek należał do rodu Weighardt von Hoffmann. Jej przedstawiciel, hrabia Franz Ludwig Xaver planował umieścić w pałacu zakon cystersów. W tym celu przystąpił do przebudowy obiektu. Do renesansowego parteru dobudował drugą kondygnację, a całemu obiektowi nadał barokowych kształtów. Kolejnej przebudowy zamku dokonano w 1858 r. Dobudowano wówczas ozdobną trzecią kondygnację. Po wojnie wnętrza budynku zaadaptowano na pomieszczenia mieszkalne.