Nachdem die mittelalterliche Burganlage aus dem 15. Jahrhundert einem Brand zum Opfer gefallen war, begann man unter Truchsess Jakob von Waldburg im Jahr 1578 mit dem Bau eines neuen Schlosses, das 1583 fertig gestellt war. Auch die ringförmig umgebende Landschaft wurde einbezogen und, vom Schloss völlig abgesetzt, ein geometrisch gestalteter Hofgarten angelegt. Über die Jahrhunderte erfuhr dieser immer wieder Veränderungen, aber gegen Ende des 18. Jahrhunderts erhielt er mit dem Bau der Orangerie im Jahr 1798 eine Grundgestaltung, die man bis heute erkennt. Im 19. Jahrhundert war der Hofgarten nicht nur repräsentativ, sondern auch mit viel Mühe und Aufwand als Nutzgarten angelegt. Der Bestand erfasste eine Vielzahl außergewöhnlicher Bäume: Orangen- und Zitronenbäume, Lorbeer- und Pomeranzenbäume, Aprikosen- und Pfirsichbäume waren hier genauso zu finden wie eine große Zahl an heimischen Obstbäumen mit Äpfeln, Birnen, Zwetschgen und Kirschen. Auf angrenzenden Wiesenflächen wurden exotische Baumgruppen angepflanzt. Um die zum Teil sehr wertvollen Raritäten vor Frost zu schützen, wurden die exotischen Pflanzen über den Winter in der Orangerie und in Glas und Treibhäusern untergebracht. In den 70er Jahren des 20. Jahrhunderts wurde der einst so prachtvolle Hofgarten von der fürstlichen Familie nicht mehr genutzt und die dortige Gärtnerei aufgegeben. Im Zuge der Ortssanierung Anfang der 80er Jahre wurde die Orangerie von Grund auf saniert. Sie wird heutzutage von der Gemeinde für Kunstausstellungen genutzt und kann auch für besondere Anlässe gemietet werden. Der Brunnen im Zentrum der Hofanlage wurde im Jahr 2005 renoviert und durch bürgerschaftliches Engagement mit neuen Sandsteinskulpturen versehen. Obwohl die ursprüngliche Pracht der Anlage des Hofgartens nicht mehr erahnt werden kann, zeugen doch die alten exotischen Bäume von einer großen Vergangenheit und können auch heute noch bewundert werden.

• der Begriff Orangerie (Limonaia) früher die Sammlung exotischer, nicht winterfester Gewächse bezeichnete. Heute wird er auf das Gebäude übertragen.
  
  
• der Hofgarten eine Flächte von 11.000 m² hat.
  
  
• die Kosten für eine Tulpenzwiebel um 17. Jahrhundert so hoch waren wie die für ein Haus.
  
  
• die Sandsteinskulpturen, die um den Brunnen platziert sind, die "4 Jahreszeiten" darstellen.
  
  
• der Wert der exotischen Baumbestände bei 403 Gulden lag, was nach heutigen Maßstäben etwa 130.000 Euro entspricht.
  
  
• die Benutzung des Hofgartens zwar eigentlich der fürstlichen Familie vorbehalten war, der Garten aber im November 1853 einmal aufgrund der Blüte der 100-jährigen Aloe (Agave Americana) geöffnet wurde.