Hoch über dem Inn auf einem Felsplateau thront die landschaftsprägende Schlossanlage an der Grenze zu Österreich. Eine erste Burg stand hier wohl schon um 1050. 1310 brannte die Burg ab und wurde danach ausgebaut. Die heutige Vor- und Hauptburg sowie die östliche Wehrmauer stammen aus dieser Zeit. 1654 wandelte man den Bau in ein barockes Schloss um und verfüllte den äußeren Burggraben, um den Schlossgarten anzulegen. 1730 ging die Anlage an das Hochstift Passau über, 1803 an das Bayerische Königshaus. Die westlich an der Ringmauer gelegenen Bauten der Hauptburg wurden in dieser Zeit teilweise abgebrochen oder erneuert. Von 1908 bis 1918 führte der Bayerische Verein für Volkskunst und Volkskunde erneut umfangreiche Renovierungen durch. Seit 1998 ist die Burg im Besitz des Landkreises Passau.

Die Vorburg ist eine trapezförmige Anlage mit Torturm, drei Befestigungstürmen und Wohntrakten. Markanteste Teile der Vorburg sind der nördliche Eingangsturm und die beiden Ecktürme im Süden und Westen.

Das Hauptschloss wird durch einen tiefen Halsgraben von der Vorburg getrennt, die verbindende Brücke stammt aus dem 18. Jahrhundert. Neben dem Tor aus dem Jahr 1484 steht der mittelalterliche Hauptturm, der Bergfried. Die Wohnbauten an der Ostseite des Schlosshofs wurden mit Räumen der Renaissance und des Barock ausgebaut. Auch die Ausstattung der Schlosskapelle St. Pankratius datiert auf das 15. Jahrhundert. Die südlichen Wohnbauten sind nurmehr als Ruine erhalten. Die westlichen Trakte wurden abgetragen.

Zur Zwingeranlage an der Westseite des Schlosses gehören Reste des sogenannten Wildbades aus dem 16. Jahrhundert, ein eingefriedeter barocker Schlossgarten, ein Grottenpavillon und Gartenfiguren, sogenannte Salzburger Zwerge.