Dieser zog jedoch nach dem Tod seines Vaters in das Biebricher Schloss.
Der klassizistische Bau wurde später als Herzögliche Nassauische Bibliothek, als Sitz der Steuerdirektion und der Rechnungskammer sowie als Museum genutzt.

Nach dem Zweiten Weltkrieg befand sich das Hessische Justizministerium in dem Gebäude in der Wilhelmstraße.

Seit 1971 ist das Palais nach langen Renovierungs- und Umbauarbeiten Sitz der Industrie- und Handelskammer.