Zamek wzniesiony został w XIV wieku, zgodą książąt szczecińskich, przez katolicki zakon rycerski, do którego się przenieśli po zdobyciu i spaleniu zamku w Rurce przez chojnickich mieszczan. Budowla stoi do dziś, a turyści z całego województwa dalej mogą cieszyć się widokiem okazałych murów zamku, który posiada bogatą historię.
Twierdza powstała na półwyspie Jeziora Grodziskiego. Otaczały ją wysokie, 15 metrowe mury, a w jednym z narożników znajdowała się 30 metrowa wieża, do której wejście znajdowało się na wysokości 16 metrów. Wokół niej znajdowała się głęboka fosa przecinająca półwysep.
W XV wieku, w ramach rozbudowy zamku, po wschodniej stronie muru zbudowano duży dom, a przy południowym powstało pomieszczenie gospodarcze, a także postawiono zbrojownię. Później, w XVI w., po zmianie właściciela, komendanta i powiększeniu się zakonu, podjęto kolejną decyzję o rozbudowie zamku – wschodnie skrzydło zostało podwyższone o jeden poziom, wtedy też funkcja mieszkalna zyskała większe znaczenie niż obronna.
Po zakończeniu wojny północnej w XVII wieku, Joannici opuścili Swobnicę, a właściciele zamku zmieniali się kilkakrotnie. Poważne zmiany zaszły po przejęciu go przez księżnę Dorotę Szlezwicko-Holsztyńskiej w 1680 roku. Zleciła przebudowę na styl barokowy, zburzono północne i południowe skrzydło, wraz z zachodnią częścią muru i budynkiem przybramnym, a na ich miejsce wzniesione są nowe budynki. Twierdza swój okres świetności przeżyła pod własnością margrabiego Fryderyka Wilhelma von Brandenburg-Schwedt, który po śmierci odziedziczył jego brat, a po jego śmierci, budowla stałą się własnością państwa pruskiego.
Kolejne renowacje miały miejsce w XIX wieku; w murach zewnętrznych powstaja otwory okienne i podjazd do zamku oraz wzniesiony zostaje mur oporowy. Ze względu na duże koszty utrzymania, ówcześni właściciele, Hohenzollernowie opuszają go na początku XX wieku.
Po zakończeniu wojny, w murach twierdzy umieszona jest dyrekcja lokalnego PGR-u, powstały nawet plany przekształcenia zamku w hotel, jednak jego stan techniczny na to nie pozwalał. Później budynek jedynie niszczał, czemu przyczyniał się nie tylko czas, ale także ludzie. W 2011 roku przejęła go gmina Banie, przeprowadzając szereg renowacji. W 2013 roku udostępniono turystom wyremontowaną wieżę, która stanowi teraz punkt widokowy.
