Le origini della collezione risalgono al regno di Rodolfo II, Sacro Romano Imperatore, Re di Boemia e Arciduca d'Austria. A partire dal 1583, quando Rodolfo II chiese agli Estati cechi un contributo per il miglioramento del Castello di Praga, non solo furono acquistati dipinti e sculture in tutta Europa e commissionate opere d'arte per la collezione, ma furono anche costruite diverse sale per esporle. Nel 1612, alla morte di Rodolfo II, la collezione contava oltre 3.000 opere.

Durante la successiva Guerra dei Trent'anni, alcuni dipinti furono portati a Vienna. Una parte consistente della collezione divenne preda delle truppe svedesi, ordinate dalla regina Cristina su istigazione di Jan Amos Comenius, che voleva proteggere i tesori del regno boemo dagli Asburgo cattolici. Più di 500 dipinti finirono così nelle collezioni svedesi, dove la maggior parte di essi è rimasta fino ad oggi.

Poiché il Castello di Praga doveva continuare a servire gli Asburgo come residenza di rappresentanza, una parte dei dipinti fu trasportata da Vienna e altri furono acquistati. Al più tardi nel 1656, la pinacoteca restaurata conteneva circa 600 dipinti e, sebbene fosse molto più piccola dell'originale, il suo valore artistico non era inferiore a quello della collezione viennese. La pinacoteca come tale rimase conservata fino alla ricostruzione del Castello di Praga sotto Maria Teresa, e fu chiusa come spazio separato nel 1762. I dipinti continuarono a servire solo come decorazione degli appartamenti reali. Una grande collezione di dipinti fu venduta a Dresda, mentre altri quadri furono venduti all'asta.

Dopo il 1918 la neonata Repubblica Cecoslovacca chiese la restituzione dei dipinti sottratti all'Austria. Sebbene la parte austriaca abbia riconosciuto questa richiesta, ha offerto in restituzione solo opere inferiori, quindi non è stato raggiunto alcun accordo. Successivamente i locali del Castello di Praga furono nuovamente decorati con dipinti acquistati dal cosiddetto Fondo nazionale Masaryk, e parte delle vecchie collezioni furono prestate alla Galleria Nazionale. Tuttavia al castello non esisteva una pinacoteca separata. Nel 1961 un'altra parte dei dipinti con temi religiosi allora "inappropriati" fu consegnata all'Istituto statale per la conservazione dei monumenti. Ciò completò la frammentazione e la riduzione delle collezioni originarie.

Il cambiamento di atmosfera negli anni Sessanta, tuttavia, contribuì positivamente al fatto che, dopo un lungo sforzo, le scuderie originali sotto la Sala Spagnola furono convertite in uno spazio per la nuova Pinacoteca del Castello di Praga nel 1964-1965. Sotto la guida del professor Jaromír Neumann, per decisione dell'allora presidente Antonín Novotný, fu ripristinata l'intenzione originaria dell'imperatore Rodolfo II. L'esposizione, che rappresenta solo una frazione delle collezioni originali in termini di numero, ma è significativa per la qualità delle singole opere d'arte, tornò al Castello di Praga e divenne accessibile al pubblico. 

Dopo il 1989 si è cercato di dare un nuovo volto al Castello di Praga. Spazi che prima erano chiusi vengono aperti ai visitatori, molte cose vengono ricostruite e cambiate. Il desiderio di dare al Castello un aspetto più nuovo e moderno ha portato anche alla decisione di trasformare la Pinacoteca. Nel 1995-1998, tutte le sale sono state sostanzialmente rinnovate dal punto di vista tecnico secondo i moderni standard di sicurezza e di climatizzazione. Secondo il progetto di Bořek Šípek, gli spazi espositivi sono stati modificati, l'ingresso è stato ridisegnato e gli interni sono stati dotati di mobili da salotto. È stato inoltre possibile acquistare diversi dipinti della collezione originale di Rudolf. Per l'esposizione permanente sono stati selezionati i pezzi più importanti della pittura storica e moderna e le singole opere sono state disposte in base alla loro appartenenza alle scuole di pittura locali. I dipinti dei maestri rudolfini e le opere della collezione dell'imperatore Rodolfo II hanno un proprio spazio.

L'autrice dell'ultima concezione della Pinacoteca è la storica dell'arte Eliška Fučíková, ex collaboratrice del professor Neumann, che ha partecipato alla ricerca sulla storia delle collezioni del Castello di Praga. La collezione della nuova Pinacoteca ha ricevuto un riconoscimento internazionale nel 2001, quando è stata esposta nel suo complesso a Maastricht.