Il castello prende nome dalla sua parte più antica, la White Tower, la torre bianca che fu costruita da Guglielmo il Conquistatore nel 1078: è un fortino quadrato con quattro torri angolari che fin dall’inizio fu dotato di una cappella e di una prigione. Intorno a questo nucleo si è via via ampliata la costruzione, con aggiunte fino all‘800.
