Počátky sbírky sahají do období vlády Rudolfa II., císaře Svaté říše římské, českého krále a rakouského arcivévody. Od roku 1583, kdy Rudolf II. požádal české stavy o příspěvek na zvelebení Pražského hradu, probíhaly po celé Evropě nákupy obrazů a soch pro tuto sbírku a vznikala také umělecká díla na zakázku. Zároveň bylo dostavěno několik sálů, v nichž byla sbírka vystavena. V roce 1612, kdy Rudolf II. zemřel, čítala na 3 000 děl.

Během následující třicetileté války byla část obrazů odvezena do Vídně. Podstatná část sbírky se z nařízení královny Kristýny stala kořistí švédských vojsk, a to na popud Jana Amose Komenského, který chtěl poklady českého království uchránit před katolickými Habsburky. Přes 500 uměleckých děl se tak dostalo do švédských sbírek, kde se většina z nich nachází dodnes.

Protože Pražský hrad měl nadále sloužit Habsburkům jako reprezentativní sídlo, došlo jednak k převezení části obrazů zpět z Vídně, jednak k nákupům dalších obrazů. Obnovená obrazárna pak nejpozději v roce 1656 obsahovala asi 600 děl, a ačkoliv tehdy byla mnohem menší než původní sbírka, svou uměleckou hodnotou nezaostávala ani za ní, ani za sbírkami vídeňskými. Obrazárna jako taková zůstala zachována až do přestavby Pražského hradu za vlády Marie Terezie; jako samostatný prostor byla zrušena v roce 1762. Obrazy nadále sloužily už jen jako dekorace královských apartmánů. Velký soubor jich byl prodán do Drážďan, jiné byly prodány v dražbě.

Po roce 1918 požadovala nově vzniklá Československá republika po Rakousku navrácení odvezených obrazů. Rakouská strana sice tento nárok uznala, ale k navrácení nabídla pouze podřadná díla, a k dohodě tak nedošlo. Následně se prostory Pražského hradu vyzdobovaly obrazy zakoupenými z tzv. Masarykova Národního fondu a část starých sbírek byla zapůjčena do Národní galerie. Samostatná obrazárna však na Hradě neexistovala. V roce 1961 byla další část obrazů – s tehdy „nevhodnou“ náboženskou tematikou – předána Státnímu ústavu památkové péče. Tím bylo dokončeno tříštění a redukování původních sbírek.

Změna atmosféry v šedesátých letech se však pozitivně přičinila o to, že po dlouhém úsilí proběhla v letech 1964–1965 přestavba původních koníren pod Španělským sálem na prostor pro novou Obrazárnu Pražského hradu. Pod vedením profesora Jaromíra Neumanna byl z rozhodnutí tehdejšího prezidenta Antonína Novotného obnoven původní záměr císaře Rudolfa II. Obrazárna tak znovu získala možnost prezentovat uceleně své sbírky a stala se také přístupnou pro veřejnost. Třebaže v porovnání s rudolfinskou dobou zahrnuje expozice jen zlomek předmětů, na významu jí dodává kvalita uměleckých děl.

Po roce 1989 došlo k hledání nové tváře Pražského hradu. Dříve uzavřené prostory se otevřely návštěvníkům, mnoho věcí se rekonstruovalo a měnilo. Snaha dát Hradu novější, moderní vzhled vedla i k rozhodnutí o proměně Obrazárny. V letech 1995–1998 prošly všechny prostory zásadní technickou rekonstrukcí podle moderních norem bezpečnosti a klimatizace. Podle projektu Bořka Šípka byly provedeny úpravy výstavních prostor, nové řešení vchodu i vybavení interiérů sedacím nábytkem. Podařilo se také zakoupit několik obrazů z původní Rudolfovy sbírky. Pro stálou expozici byly vybrány nejvýznamnější kusy historického i moderního malířství a jednotlivá díla byla rozmístěna podle příslušnosti k lokálním malířským školám. Vlastní prostor dostaly i obrazy rudolfinských mistrů a díla ze sbírek císaře Rudolfa II.  

Autorkou poslední koncepce expozice Obrazárny je historička umění Eliška Fučíková, bývalá spolupracovnice profesora Neumanna, jež se podílela na výzkumu historie sbírek Pražského hradu. Mezinárodního ocenění se sbírce nové Obrazárny dostalo v roce 2001, kdy byla jako celek vystavena v Maastrichtu.