Stauferzeitliche und später mehrfach erweiterte Dynastenburg der Grafen von Dillingen, einem bedeutenden süddeutschen Adelsgeschlecht. Nach deren Aussterben Residenz der Fürstbischöfe von Augsburg bis zur Säkularisation im Jahre 1802. Vor dem heutigen Haupteingang sind die Wachgebäude als Reste der Hofstallkaserne erhalten. Heute Sitz des Finanzamtes.