Dit gebouw werd in 1716 gebouwd in opdracht van de graaf Wassenaer Obdam. Koning Willem II maakte zelf de ontwerpen voor de verbouwing.
Door gebrek aan bouwkundige kennis verkeerden na enige tijd de gebouwen in slechte staat. De meeste werden na de dood van Willem II in 1849 weer afgebroken. Alleen de Gotische Zaal, bestemd voor de schilderijencollectie van de Koning, is bewaard gebleven.
Lange tijd was in dit paleis het Ministerie van Financiën gevestigd. Thans is het gebouw in gebruik bij de Raad van State.