Der heutige Werderhof ist Teil des ehemaligen Stadttores von Goslar. Dieses wurde 1443 errichtet und war in Form eines Doppeltors angelegt: vor dem inneren Tor stand ein Äuβeres, das wiederum von zwei großen Türmen eingerahmt wurde. Zwischen beiden Toren befand sich die Kaserne für die Torwächter, der heutige Werderhof. Die Anlage wurde im 18. Und 19. Jahrhundert gröβtenteils abgetragen. Diesem Abriss fielen auch das äußere breite Tor und ein Turm zum Opfer.
Heute ist von der ehemaligen Verteidigungsanlage lediglich das innere Tor, die ehemalige Kaserne, der Werderhof, sowie der Rieslingsturm, der nördliche Turm des äußeren Tores, erhalten.