Zur ersten Zerstörung der Burg kam es im Streit zwischen dem Kaiser Heinrich IV. und seinem Sohn Heinrich V. Der Vohburger Markgraf Diepold III. unterstützte den Sohn, was 1105 in einem Rachefeldzug des Kaisers dazu führte, dass die Burg „gebrochen und geschleifft” wurde. Allerdings starb der Kaiser bereits ein Jahr später und Heinrich V. übernahm die Regentschaft, so dass man von einem baldigen Wiederaufbau der Burg ausgehen kann.

Unter Herzog Ludwig dem Strengen stieg Vohburg zum zentralen Verwaltungssitz auf. Wahrscheinlich fand in dieser Zeit auch die Erhebung Vohburgs zur Stadt statt. Das vorhandene Rechnungsbuch von 1291 – 1294 verzeichnet u. A. die Steuereinnahmen aus Orten wie Dachau, Donauwörth, Ingolstadt, München, Kitzbühel, Pfaffenhofen, Wasserburg und natürlich auch aus Vohburg.
Herzog Ludwig der Strenge starb am 02.Februar 1294 in Heidelberg und ist im Kloster Fürstenfeld begraben. Er hinterlies – neben seiner dritten Frau Mathilde von Habsburg und drei Töchtern – auch zwei Söhne:
Rudolf I. von der Pfalz, genannt der Stammler, wurde am 04.Oktober 1274 in Basel geboren. Er heiratete am 01.September 1294 in Nürnberg die Prinzessin Mechthild (1280 – 1323), Tochter von König Adolf von Nassau. Aus der Ehe gingen sechs Kinder hervor.
Ludwig IV., genannt der Bayer, wurde 1282 oder 1286 in München geboren.

Nach dem Tod ihres Vaters teilten sich die beiden Brüder sein Erbe und regierten gemeinsam als Herzöge in Oberbayern und Pfalzgrafen bei Rhein, wobei in dieser Zeit Rudolf u. a. Vohburg erhielt. Schon früh befanden sich die beiden Brüder aus dem Hause Wittelsbach im Streit, bei dem auch ihre Mutter – als Vormund von Ludwig IV. – kräftig mitmischte.
Im September 1316 zerstörte Ludwig in diesen Bruderstreitigkeiten die Vohburg und andere Besitzungen seines Bruders.
1317 gab Rudolf nach einer Reihe von Niederlagen sämtliche Herrschaftsansprüche auf. Vohburg wurde daraufhin für fast 100 Jahre zum Spielball seiner jeweiligen Besitzer.
Ludwig der Bayer verpfändete am 27. April 1346 Vohburg und Neustadt a. D. für 28.000 Pfund Pfennige an den Nürnberger Burggrafen Friedrich.

Nach dem Tod Ludwig des Bayern im Jahre 1347 erbte sein Sohn Ludwig der Brandenburger Oberbayern, der dann 1356 das Patronatsrecht der hiesigen Pfarrei an das Kloster Scheyern übertrug, wo es bis zur Säkularisation 1803 blieb.
Nach dem Tod des Brandenburgers in 1361 und auch dessen jugendlichen Sohn Meinhard nur zwei Jahre später vereinigte sein Onkel Herzog Stefan mit der Hafte Niederbayern wieder mit Oberbayern.
Die Herzogssöhne Ernst und Wilhelm verpfändeten Vohburg 1404 „auf Wiedereinlösung” an Herzog Heinrich von Landshut. Trotz dieses Versprechens verschacherte der Fürst „Veste und Pflege Vohburg” an die Edlen von Seyboldsdorf.

Von diesen erwarb Elisabeth, die Gemahlin Herzog Ernsts, 1413 Vohburg für 9.500 Gulden und baute sie anschließend wieder auf – die Einweihung fand am 27. September 1415 statt.
Die neue Vohburg schenkte sie dann am 11. März 1424 ihrem Sohn Albrecht III., der dort womöglich für ungewisse Zeit mit Agnes Bernauer lebte.

Das Ende der stolzen Vohburg kam schließlich 1641, wo die Schweden unter General Banèr hier wüteten und die Burg zerstörten.