Bevor der Rheintorturm errichtet wurde, stand dort eine barocke Nepomuk-Skulptur.
Der Pulverturm wurde zeitweise auch als städtisches Gefängnis genutzt. So saß vermutlich zur Konzilszeit der Raubritter Jörg von End in diesem ein. Im Anschluss an das Konzil wurden außerdem auch mehrere Juden mit Genehmigung ihres Schutzherrn König Sigismund hier inhaftiert, um über deren Auslösesummen die Konzilsschulden des Königs zu bezahlen.
