Dem Gebäude war kein langer Bestand beschieden. Am 28. Dezember 1646 steckten es die Truppen des schwedischen Feldmarschalls Wrangel auf einem ihrer Feldzüge durch das Oberland in Brand. Zwar blieben Teile des Schlosses erhalten, doch ging vor allem das oberste Stockwerk - und damit das Hauptgeschoss - in Flammen auf. Der Beginn der Wiederaufbauarbeiten verzögerte sich durch die Not der Nachkriegszeit bis in das Jahr 1651. Die entscheidende Phase der Ausstattung der Repräsentationsräume fiel in die Jahre zwischen 1691 und 1700. Die Federführung bei der Neugestaltung der Repräsentationsräume, sowohl was den Stuck als auch die Ausstattung mit Skulpturen anbelangt, lag in den Händen des Bildhauers und Stuckateurs Balthasar Krimmer (1653-1702) aus Wangen.

Zu einschneidenden baulichen Veränderungen kam es in der ersten Hälfte des 18. Jahrhunderts, als die Gästeappartements des ersten Obergeschosses im Geschmack des Rokoko neu ausgestattet wurden. Im späten 19. Jahrhundert gestaltete man eine Folge von Speisezimmern im Geschmack der Zeit. Damals erhielt auch die Schlosskapelle ihr neugotisches Aussehen. Mit der Fertigstellung des Gotischen Zimmers, der anschließenden Räume und des Ganges waren am Ende des 19. Jahrhunderts die Umbaumaßnahmen auf Schloss Wolfegg abgeschlossen.