Wer am Stadtplatz spazieren geht, dem fällt er ins Auge, der Schwibbogen zwischen den Häusern drei und vier. Bis 1857 floss hier der Viehbach in Richtung Roßmarkt. Über die Erbauung des Schwibbogens gibt es zwei Sagen.
So sollen die Besitzer der beiden Häuser regelmäßig Karten gespielt haben. Der Besitzer des linken Hauses verlor ständig und hatte bereits hohe Schulden. Bei einem letzten Turnier, bei dem der Gewinner ein Zimmer im anderen Haus bekommen sollte, verlor er wieder. So baute der Nachbar den Schwibbogen, um in sein erspieltes Zimmer zu kommen. Noch heute gehört ein Zimmer dem Besitzer des rechten Hauses.
Die zweite Sage dreht sich um einen Baumeister, der mithilfe des Teufels den Bogen erbaute. Er bekam Angst und vertraute sich dem Pfarrer an. Als nach Vollendung des Schwibbogens der Teufel seinen Lohn einforderte, erschien der Geistliche und besprengte den Teufel mit Weihwasser. Durch ein Loch im Schwibbogen entfloh der Leibhaftige. Über dieser Öffnung wurde ein Fresko mit der Darstellung der Mutter Gottes angebracht.
Das linke Gebäude wurde von Gundacker von Pollham, Freiherr auf Parz, Lichtenegg und Steinhauf, im Jahre 1604 erbaut. Während der Bayrischen Herrschaft 1809 bis 1816 war in dem Haus das königlich bayrische Landgericht untergebracht. Seit 1889 ist das Haus in Besitz der Familie Zweimüller, die darin den Gasthof „Zum Weißen Kreuz“ betreibt.
