Das von der Familie Castell-Castell heute bewohnte Schloss ist ein imposanter dreiflügeliger Barockbau, gekrönt von einem mächtigen Mansarddach. Graf Wolfgang Dietrich hatte seinerzeit den Künzelsauer Baumeister Peter Sommer mit dem Bau eines repräsentativen und komfortablen Neubaus im Ort beauftragt (1686-1691), nachdem die alte Stammburg am Schlossberg für unbequem und baufällige befunden wurde.

Dann ca. 2 Jahrhunderte später, 1863 bis 1869, ließ Graf Friedrich Ludwig (1791-1875) den Tortrakt erweitern und aufstocken sowie einen neuen Pferdestall errichten, in dem heute das Restaurant Weinstall untergebracht ist.

Außerdem ließ Graf Friedrich Ludwig den bis dahin formal angelegten Schlossgarten in einen Landschaftsgarten umwandeln und erweitern. Diese Erweiterung und Umgestaltung bezog sich auf einen Plan des Münchner Hofgartenintendanten Carl von Effner. Mit dieser Umgestaltung entstanden die so genannten Schlossanlagen mit dem Grafenteich. Später wurde die Reithalle und der Pferdestall errichtet. 1991 kam dann die Installation des Wiedervereinigungssteins von Theo Steinbrenner dazu.

Der Schlossgarten, in dem jährlich u.a. das über die Grenzen Frankens bekannte Weinfest und die Casteller Landhaustage stattfinden, ist für Besucher jederzeit zugänglich. Schattige Wege und sonnige Plätze laden zum Spazieren und Verweilen ein.