Die gesamte Anlage mit Sakral-, Verwaltungs- und Wirtschaftsgebäuden wird von einer Wehrmauer umschlossen, in welche die Hauptbauten jeweils mit der rückwärtigen Giebelseite einbezogen sind. Die Befestigung und somit die Anlage der Mauern war 1403 abgeschlossen. Von der Bedeutung des Pfleghofs als Mittelpunkt Herrenalbischen Klosterbesitzes und württembergischer Präsenz im südöstlichen Kraichgau zeugen die langgestreckte, um 1500 als großer Fruchtkasten erbaute Kelter und die an die Nordseite der Ummauerung anschließende Zehntscheuer aus dem 16. Jahrhundert. Die heute noch in großen Teilen erhaltene mittelalterliche Wehrmauer war ehemals mit Türmen besetzt und von einem Wassergraben umzogen. Von den Wehrtürmen ist nur der gedrungene quadratische „Hexenturm" mit gebuckelten Eckquadern an der Südostecke erhalten.

Die älteste Bausubstanz ist der zum Glockenturm der evangelischen Laurentiuskirche umgewidmete Wohnturm, der wohl auf das 13. Jahrhundert zurückgeht. Auf die Ausbauphase des Klosterhofes im 14. Jahrhundert geht die Bausubstanz des Pfarrhauses zurück, das durch dendrochronologische Untersuchungen auf das Jahr 1391 datiert werden konnte. Der Bau der evangelischen Laurentiuskirche aus dem Jahre 1574 sowie die heute als Rathaus dienende Zehntscheune aus dem 16. Jahrhundert sowie der um 1500 erbaute Fruchtkasten stammen weitgehend aus der Zeit nach der engeren Bindung an das Herzogtum Württemberg.

Das Zisterzienserkloster Herrenalb erwarb zwischen 1247 und 1278 mehrere Besitzungen in Ober- und Unterderdingen und vereinigte sie mit der hier seit 1216 bezeugten Grangie – einem von Laienbrüdern bewirtschafteten Großgut. Es entstand ein großer Pfleghof. Nach der Reformation wurde das Pflegamt, dessen Sitz der Amthof war, mit dem Territorium des Herzogtums verbunden, blieb aber bis 1807 als selbständiges Verwaltungsamt bestehen.