Gottfried Semper errichtete von 1842 bis 1844 im Bereich der alten Stadtfestung ein Kasernengebäude, das er unter denkmalschützerischen Aspekten in die historische Umgebung einpasste.
Der Name des Wendischen Turmes leitet sich von der sorbischen (wendischen) Siedlung ab, die im frühen Mittelalter im Bereich der heutigen Wendischen Straße nördlich der deutschen Handwerkersiedlung (an der Reichenstraße) lag. Der viereckige Unterbau entstand etwa gleichzeitig mit dem Lauenturm und dem Unterbau des Schülerturms, also am Anfang des 15. Jahrhunderts. Der runde Oberbau wurde zwischen 1478 und 1492 gleichzeitig mit dem unteren Teil des Reichenturms erbaut. 1566 ersetzte man die durch einen Sturm beschädigte hölzerne und mit Schiefer beschlagene Spitze durch eine steinerne Bekrönung. 1663 verlagerte die Stadt vorübergehend das Schuldgefängnis in den Wendischen Turm.
1834 wurde das angrenzende Wendische Tor beseitigt. 1841 sollte auch der Turm abgerissen werden. Gottfried Semper errichtete von 1842 bis 1844 im Bereich der alten Stadtfestung ein Kasernengebäude, das er unter denkmalschützerischen Aspekten in die historische Umgebung einpasste. Eine neue Kaserne wurde notwenig, weil bis dahin die vielen Soldaten des sich langsam zur Garnisonsstadt entwickelnden Bautzen in normalen Wohnungen wohnten. Es lag der Bauentwurf eines gewissen Oberleutnants Kimmel vor, der keine Rücksicht auf vorhandene Baustrukturen und die mittelalterliche Stadt nahm. Die Bürgerschaft rief deshalb Gottfried Semper zu Hilfe. Dieser bezog nicht nur den Turm in seine neuen Pläne mit ein, sondern entwarf die Kaserne für 350 Soldaten auch in der mittelalterlichen Formensprache des Turmes und der alten Stadtmauer. Diese Rettungsaktion war in der damaligen Zeit für große Teile Deutschlands durchaus nicht typisch und stellt eine frühe Form des Denkmalschutzes dar. Seit 1933 nutzte das Finanzamt dieses Gebäude. Nach zwischenzeitlichen Unterbrechungen hielt diese Behörde im Juli 1990 wieder Einzug in die Alte Kaserne. Eine Außenrestaurierung des Turmes erfolgte 1992.