A középkori Buda és Pest városi iratainak őrzési körülményeiről nem rendelkezünk adatokkal, s az 1686 előtti időszakból is csupán néhány iratot őrzünk. A Buda visszafoglalása (1686) után újrainduló városi élet hivatalos dokumentumait kezdetben a polgármester vagy a jegyző őrizte, majd a városi kancellárián tartották azokat. század folyamán archiváriusokat neveztek ki, s az iratok biztonságos városházi megőrzéséről és rendjéről is gondoskodtak.
1873 után, a városegyesítést követően a régi pesti városháza mellett a használaton kívül maradt budai városháza pincéi, majd 1887-ben az Újvárosháza is a levéltári iratok őrzőhelyévé vált. A 19–20. század fordulóján a Károly-kaszárnyában helyezték el a Központi Városházát, ahol a levéltár még páncélszobát is kapott, viszont figyelmen kívül hagyták a távlati raktári szükségleteket. Az ezt követő legfontosabb fejlemény a terjedelmes irategyütteseknek a II. világháború alatt, 1943–1944-ben a Szent István-bazilika altemplomába történő menekítése volt; a legértékesebb dokumentumok pedig a Magyar Nemzeti Bank őrizetébe kerültek. Ezek Nyugaton tett kalandos útjukról végül sértetlenül tértek haza. A Városházán maradt iratok jelentős része viszont elpusztult az ostrom alatt. A lángok martalékává váltak többek között az állami anyakönyvi másodpéldányok, az egyesületi alapszabály-gyűjtemény, az alapítványi okmánytár, s jelentős kárt szenvedett számos polgármesteri ügyosztály két háború közötti évekből való iratsorozata is. A háború után az 1960-as évek elejéig a városigazgatás központi épületében csupán a munkaszobák álltak a levéltár rendelkezésére, ennek folytán a bazilikai igénybevétel, ahol később irodákat is létesítettek, véglegesen fennmaradt. Az 1960-as években azután egy városházi felújítás, s külső raktárak létesítése eredményeként, némileg enyhült a zsúfoltság. A legértékesebb feudális kori iratok is visszakerülhettek a Városháza felújított raktárhelyiségeibe. A Fővárosi Tanács az elhelyezési gondok végleges megoldása céljából 1972-ben a városegyesítés centenáriumára készülve új levéltárépület létesítését határozta el. A legveszélyeztetettebb bazilikai anyag ideiglenes elhelyezésére a II. kerületi Heinrich István utcai, Molnár Farkas által tervezett s csak félig megépült, ovális kupolája folytán azonban műemléknek minősített Magyar Szentföld templom épületét jelölték ki. A centenáriumi lelkesedés elmúltával már nem volt többet szó új épület létesítéséről, s 1976-ban ezen részleg véglegesítése mellett döntöttek. Az 1970-es évek folyamán a raktárak mellett mikrofilmező, restauráló és könyvkötő műhely is létesült. Ezt követte 1989 és 1991 között a hazai levéltártörténet második legnagyobb iratköltöztetési akciója. Sor került a bazilikai altemplomban senyvedő iratok fertőtlenítésére, s más iratcsoportokkal együtt a levéltár állományának zöme az egykori józsefvárosi Misura-féle kocsigyár Leonardo da Vinci közi átalakított épületébe került. Ez azonban nem jelenthette az elhelyezési gondok végleges rendezését, így a levéltárvezetés ismét felvetette az egységes, központi levéltárépület létesítésének gondolatát.
1998-ban végül a XIII. kerületi Teve utcára esett a választás, amelyre vonatkozóan az új tervpályázatot a Koris János vezette Budai Építész Műhely nyerte el. A megvalósítást a Fővárosi Önkormányzat kizárólagos tehervállalása tette lehetővé. Az alapkövet Demszky Gábor főpolgármester 2002. október 11-én helyezte el, s az új létesítmény 2004-ben nyitotta meg kapuit. A 23440 m2 hasznos alapterülettel rendelkező új épületben több mint 37000 iratfolyóméter iratot őriz, rendez és ad ki a kutatóknak és ügyfeleknek Budapest Főváros Levéltára. A levéltár magas színvonalon végzett feldolgozó és feltáró munkáját 2012-ben az Év Levéltára díjjal ismerte el a szakmai közönség. A Kutató- és Ügyfélszolgálat egyre bővülő tevékenységét és folyamatos fejlődését a levéltárak igazi felhasználói, a kutatók, is elismerték. 2012-ben és 2021-ben a Magyar Családkutatók Egyesülete által alapított „Az Év kutatóhelye” díjat Budapest Főváros Levéltárának ítélték oda.
