Angrenzend an das Burgtor blieb ein Stück der mittelalterlichen Stadtmauer mit einem zu Verteidigungszwecken errichteten Halbschalenturm erhalten. Dieser sogenannte Kaiserturm lässt sich baulich bis in das 12. Jahrhundert zurückdatieren. Im 15. Jahrhundert wurde der Turm unter Stadtbaumeister Nikolaus Peck umgebaut. Dendrochronologische Untersuchungen ermöglichten die Datierung des Holzes einer der Balkendecken in das Jahr 1421. In der Folgezeit verstellten wechselnde Eigentümer so manche Öffnung, mauerten einen Wehrgang zu. Im 19. Jahrhundert wurden die ehemals höheren Außenmauern des Turms bis auf den heutigen Bestand abgebrochen.

Das dreigeschossige Wohngebäude Kaiserstraße 3 wurde um 1800 errichtet. Die stadtseitige Mauer des Halbschalenturms ist dessen Rückfassade, im Erdgeschoss erstreckt sich ein Lagerraum in den Turm hinein. Das Gebäude Kaiserstraße 5 ist aus dem 15. Jahrhundert und ebenfalls in den Bestand hineingebaut. Die Innenräume beider Hausnummern gehören unmittelbar zusammen, da die Räume im Bereich des Turms direkt übereinanderliegen. Mit dem Bau von Nummer 3 wurde südlich zur Stadtinnenseite ein weiteres dreigeschossiges Haus mit einer straßenseitigen schmalen Fassade an den Turm angebaut. Im Innern erstreckt sich der Grundriss des Baus hinter das Nachbargebäude in den Halbschalenturm und umschließt das Nebengebäude von hinten. Das verschachtelte Ensemble erhielt in der zweiten Hälfte des 19. Jahrhunderts ein halbrund gefächertes Dachwerk.

Der heute von seinen neuen Eigentümern wieder bewohnbar gemachte Kaiserturm in Lübeck, als bauliches Dokument einer städtischen Wehranlage mit besonderer wissenschaftlicher und geschichtlicher Bedeutung, ist eines von über 160 Projekten, die die Denkmalschutzstiftung dank privater Spenden und Mittel der GlücksSpirale, der Rentenlotterie von Lotto, allein in Schleswig-Holstein fördern konnte.