Sinds 1879 is dit uit 1633 daterende pand in bezit van de Staat der Nederlanden en vanaf 1914 is het Kabinet van de Koning (tot 30 april 2013 was de naam 'Kabinet der Koningin') erin gevestigd.
Enige tijd woonde hier de antirevolutionaire voorman Groen van Prinsterer. In de Tweede Wereldoorlog was sinds juli 1944 de Secretarie van Staat van de NSB hier gevestigd, een soort privé-departement van Anton Mussert.