Construido como Nottingham House en 1605, originalmente era una casa privada propiedad de Daniel Finch, segundo conde de Nottingham. En 1689, el rey Guillermo III y la reina María II lo compraron buscando una residencia más saludable que el húmedo Palace of Whitehall. Los monarcas encargaron a Sir Christopher Wren ampliar y remodelar la casa para convertirla en palacio, añadiendo pabellones y alas nuevas. Durante el siglo XVIII, fue residencia oficial de reyes y reinas, incluyendo a la reina Ana y el joven Jorge II. La reina Victoria nació allí en 1819 y pasó su infancia en el palacio. En el siglo XX se convirtió en residencia de miembros menores de la familia real y en espacio de oficinas reales. La princesa Diana vivió allí después de su divorcio.