In passato sotto al Cremlino scorreva il fiume Neglinnaya, un piccolo affluente della Moscova, che fungeva da fossato, ma intorno al 1823 venne deviato sotto terra per creare il giardino intitolato ad Alessandro I, imperatore di Russia dal 1801 al 1825.