Według tradycji budowniczymi zamku położonego nad rzeką Wietcisą byli joannici. Zakonnicy osiedlili się na terenie Kociewia dzięki księciu lubiszewsko-świeckiemu Grzymisławowi. Władca ten na mocy dokumentu z 1198 r. podpisanego w Świeciu przekazał im ziemie we własnym księstwie, w tym m.in. wieś Reueninow, bardzo często utożsamianą ze Skarszewami. W późniejszym czasie sam zamek był siedzibą urzędnika krzyżackiego niższej rangi, który podlegał wójtowi w Tczewie. Budowla obronna była kilkakrotnie niszczona oraz remontowana. Po II pokoju toruńskim Skarszewy stały się starostwem grodowym. Na początku XVII w. ranga miasta jeszcze bardziej wzrosła, ponieważ na mocy uchwały sejmu urząd starosty połączono z urzędem wojewody. Zamek został zniszczony podczas wojen ze Szwedami. Część najpilniejszych prac remontowych przeprowadzono pod koniec XVII w. Co ciekawe na zamku w latach 1762-1767, kiedy to w jego murach znajdował się sąd grodzki, kształcił się i pracował Józef Wybicki, późniejszy autor słów Mazurka Dąbrowskiego. Po pierwszym rozbiorze Polski budowla niszczała oraz służyła za magazyn soli, a w XIX w. przystąpiono do rozbiórki przyzamkowych obiektów. Przyczyniło się do to dalszej degradacji warowni. Po II wojnie światowej przystąpiono do prac dokumentacyjnych oraz restauracyjnych. Współcześnie Zamek Joannitów swoim wyglądem przypomina kamienicę z dwuspadowym dachem. Obecnie budynek jest on siedzibą Gminnego Ośrodka Kultury i Biblioteki Publicznej. W murach obiektu odbywają się liczne spotkania, koncerty, wystawy, które bardzo często swą tematyką nawiązują do kultury Kociewia i dziejów Skarszew.