An der nordöstlichen Stadtbefestigung wurde die Neuveste angelegt, da der Alte Hof den Wittelsbachern zu unsicher wurde. Aus dieser Burg entwickelte sich die Residenz.