Schloss Fraunberg wurde um 1248 von Seyfried von Fraunberg als Wasser- und Wehrburg erbaut. Es ist das Stammschloss einer der ältesten bayrischen Adelsfamilien. Im Dreißigjährigen Krieg wurde die Anlage schwer beschädigt und musste teilweise wieder aufgebaut werden. Das heutige Schloss ist weitgehend ein Neubau von 1683, in dem mittelalterliche Reste aufgenommen wurden. In den Folgejahrhunderten wurden an Nebengebäuden immer wieder Abbrüche vorgenommen. Anfang des 19. Jahrhunderts brach man den Zugbrückenturm ab, doch blieb das zentrale Schlossgebäude mit der Ringmauer darum stehen. Beide wurden von der Familie zwischen 1986 und 1993 generalsaniert.

Das Schloss in Frauenberg war ursprünglich von zwei Wassergräben umgeben. Die Anlage mit doppeltem Grabenring ist seit ihrer Gründung im Besitz der freiherrlichen Familie von Fraunberg. Das Gelände erhebt sich auf drei Seiten des Schlosses um ein Geschoss über den niedriger liegenden und ans Wasser grenzenden Teil des Bodens. Die dreigeschossige Schlossanlage mit dem mittelalterlichen Burggraben ist umgeben von einem kleinen Park und einer rund 100 Meter langen fast kreisrunden Schlossmauer, deren Erhalt die DSD 2016 förderte. Teile der Hausfundamente, der Umfassungsmauer sowie des Bergfrieds stammen aus dem Mittelalter.

Das Schloss und die unweit liegende Kirche bilden zusammen trotz ihrer Randlage das kulturelle Zentrum des Ortes Fraunberg. Beide haben weitgehend ihre historische Lage in der Auenwald- und Mooswiesenlandschaft am Strogenfluss behalten. Die Freiflächen um das Schloss bleiben auch weiterhin unbebaut.