Das Schloss Pfaffendorf wurde nach der Aufgabe der Burg Altenstein 1703 zum repräsentativen Hauptsitz der Familie von Stein und entsprechend im Rokokostil gestaltet. Der ausgedehnte Komplex blieb bis 1875 Wohnsitz des geschichtsträchtigen Geschlechts.

Die heutige Schlossform geht auf Christian Adam Ludwig von Stein zurück. Auch wenn im Laufe der Zeit mehrere Umbauten stattfanden, ist der ursprüngliche Charakter des zweistöckige Hauptbaus, der von einem mächtigen Walmdach bedeckt wird, bis heute sehr gut erhalten ergeblieben.

Die Salesianer Don Boscos betreiben seit 1954 im Schloss und  auf dem Gebiet des ehemaligen Schlossparks eine Jugendhilfeeinrichtung. Das Schloss ist daher nicht zu besichtigen, nur der vordere Außenbereich des Schlosses ist für die Öffentlichkeit frei zugänglich.