1989 kehrte das Ehepaar nach einigen Jahren im Ausland nach Österreich zurück und erwarb die Villa Rothberger in Baden bei Wien. Das Gebäude war 1912 vom Architekten Otto Prutscher maßgeblich umgebaut und eingerichtet worden. Hermi und Fritz Schedlmayer waren so fasziniert von den harmonischen Proportionen und der wohldurchdachten Funktionalität des Hauses, dass sie über das Haus und den damals vergleichsweise noch wenig beachteten Architekten und Designer zu recherchieren begannen.

Als Hermi und Fritz Schedlmayer knapp zehn Jahre später eine Einzelausstellung Prutschers besuchten, setzte ihre intensive, fast zwei Jahrzehnte währende Sammlertätigkeit ein. Neben Gegenständen und Entwürfen Prutschers rundeten Werke von Koloman Moser, Adolf Loos und Josef Hoffmann die Sammlung ab. Darüber hinaus erwarb das Sammlerpaar herausragende Gemälde von Vertreter*innen der österreichischen Moderne wie Broncia Koller-Pinell, Jean Egger, Franz Wiegele oder Anton Faistauer. Neben diesen fanden mit Werken von Karl Hofer, Max Pechstein, Christian Rohlfs oder Ernst Ludwig Kirchner auch wichtige Vertreter des deutschen Expressionismus Eingang in die Sammlung.