A 10. század legvégén Géza fejedelem által alapított egyházmegye széles sávban húzódott keresztül a Dunántúlon a Drávától egészen a Dunáig. Területe a középkorban magában foglalta Somogy, Zala, Veszprém és Fejér megyéket, valamint a később megszűnt Pilis megyét. Területének első nagy átszervezése 1777-ben történt. Fejér megye területén létrehozták a székesfehérvári püspökséget, a vasi és nyugat-zalai plébániákat pedig az újonnan alapított szombathelyi püspökséghez csatolták. Ugyanekkor került át a pápai főesperesség a győri püspökségtől a veszprémihez. 1993-ban újabb szervezeti átalakuláson esett át az egyházmegye. A Balatontól délre eső Somogy és Zala megyei területekből II. János Pál pápa létrehozta a kaposvári püspökséget, s ezzel együtt Veszprémet érseki rangra emelte.

A levéltár közel egyidős magával az egyházmegyével, mivel az egyházmegyére vonatkozó oklevelek megőrzésére itt is gondosan ügyeltek. Bár a középkor folyamán többször is tűzvész pusztított benne (például 1276-ban, Csák Péter rablótámadásakor, valamint 1381-ben), mégis a két levéltárban összesen mintegy 1800 középkori oklevél maradt fönn. A püspöki és káptalani birtokok (és persze az ezekre vonatkozó oklevelek) megosztásától (12–13. század) beszélhetünk külön püspöki és káptalani levéltárról, bár ezek helyileg nem különültek el egymástól. Mindkettőt a székesegyház sekrestyéjében őrizték a kincstárral együtt. A két levéltár csak 1544-ben vált el egymástól, amikor is az előbbi Sopronba került, míg az utóbbit Sümegre szállították.

A kanonokok már a 17. században visszahozták irataikat Veszprémbe, ahol őrzési helyüknek ismét a székesegyház sekrestyéjét jelölték ki. A káptalan már a középkorban is működött hiteleshelyként, majd a soproni száműzetés évszázada után ismételten végeztek hiteleshelyi feladatokat. Az ennek nyomát őrző jegyzőkönyvek alkotják a káptalani hiteleshelyi levéltár magvát. (Ez ma letétként a Veszprém Megyei Levéltárban található.) A káptalani levéltár másik része a káptalan magánlevéltára. Itt találhatóak a káptalan birtokjogaira vonatkozó oklevelek, a káptalant és a püspökséget érintő pápai bullák, a tizedügyek szabályozására vonatkozó iratok, valamint egyebek mellett a gazdasági jegyzőkönyvek. A káptalani levéltárról 1881-ben lajstrom készült, okleveleit pedig 1903-ban Lukcsics József rendezte. Ekkor az iratok a székesegyház sekrestyéje fölötti helyiségekben voltak.

A püspöki levéltár egészen a 18. század derekáig Sümegen maradt. 1717-ben, a török háború hírére Volkra Ottó János püspök a győri káptalannál helyezte el a fontosabb birtokjogi okmányokat, amelyek azonban ott elpusztultak. Végül Padányi Bíró Márton püspök (1745–1762) az iratanyagot Sümegről a veszprémi püspöki palotába szállíttatta. Utóda, Koller Ignác püspök (1762–1772) saját iratait és a levéltárból kiemelt egyéb iratokat külön gyűjtötte, ebből alakult ki az ún. Koller-gyűjtemény. A székesfehérvári egyházmegye megalakulásakor, 1777-ben a püspökség Fejér és Pest megyékre vonatkozó iratainak jelentős részét átadta az új egyházmegyének. A püspöki levéltár első komoly rendezésére az 1830-as években került sor, amikor az iratokat tartalmi alapon sorozatokba osztották be, és azokon belül esperességek és plébániák szerint rendezték. Ugyanakkor, 1835-től áttértek az iratok folyamatos, folyószám szerinti elhelyezésére is. A püspöki levéltár anyagának legfontosabb oklevelei (köztük több mint 600 darab középkori) 1895-ban letétként a káptalani levéltárba kerültek.

A püspöki jószágkormányzósághoz és az uradalmakhoz (Karád, Sümegi, Veszprém központtal) kapcsolódó gazdasági iratanyagot külön gazdasági levéltárban helyezték el a jószágkormányzóságon. Ennek azonban csak egy része került a püspöki levéltárba, mivel 1925-ben helyszűke miatt az aktualitásukat vesztett iratokat kiselejtezték és papírmalomba akarták adni. A kiselejtezett anyag egy részét Pfeiffer János püspöki levéltáros mentette meg, egy másik része a vármegyei múzeumba került, az iratok többsége azonban odaveszett.

A székesegyház felújítása miatt 1907-től a káptalani levéltár is nehéz helyzetbe került. Eleinte kanonoki házakban (Aggpapok háza, Körmendy-ház, Dubniczay-ház) helyezték el, egyik helyről a másikra költöztetve, majd végül 1972-ban az egykori ferences kolostor emeletén kapott megfelelő helyet. A megváltozott viszonyokhoz alkalmazkodott az egyházmegye vezetése, amikor a káptalani levéltárat a püspöki levéltáros felügyelete alá helyezte, majd 1993-ban az addig önálló levéltárakat szervezetileg is összevonta.