In 1845 werd dit in 1764 door Pieter de Swart gebouwde huis (Huize Patras) aangekocht door Koning Willem II. Van 1901 tot 1934 heeft Koningin-moeder Emma er daadwerkelijk gewoond. Totdat Koningin Beatrix in 1984 Paleis Noordeinde in gebruik nam, vond hier op Prinsjesdag de balkonscene plaats.
Het paleis is thans in gebruik als museum.