Los orígenes de la colección se remontan al reinado de Rodolfo II Habsburgo, el emperador del Sacro Imperio Romano Germánico, el rey de Bohemia y el archiduque de Austria. A partir de 1583, cuando Rodolfo II pidió a los Estados checos una contribución para la remodelación del Castillo de Praga, se compraron pinturas, esculturas y obras de arte en toda Europa. Además, se construyeron varias salas para exponerlas. En 1612, a la muerte de Rodolfo II, la colección contaba con más de 3.000 obras.   

Durante la Guerra de los Treinta Años, algunos de los cuadros se llevaron a Viena. Una parte sustancial de la colección fue presa de las tropas suecas, ordenadas por la reina Cristina a instancias de Jan Amos Comenius, quien quería proteger los tesoros del reino checo de los Habsburgo católicos. Así, más de 500 cuadros fueron a parar a colecciones suecas, donde la mayoría  permanece hasta nuestros días. 

Como el castillo de Praga debía seguir sirviendo a los Habsburgo como residencia representativa, una parte de la colección fue transportada de vuelta desde Viena y se adquirieron otras pinturas. A más tardar en 1656, la pinacoteca restaurada contenía unos 600 cuadros, y aunque era mucho más pequeña que la original, su valor artístico no era inferior al de la colección vienesa. La pinacoteca como tal se conservó hasta la reconstrucción del Castillo de Praga bajo María Teresa, y se cerró como espacio independiente en 1762. Los cuadros siguieron sirviendo únicamente como decoración de los aposentos reales. Una gran parte de la colección fue vendida a Dresden, otros cuadros se vendieron en subasta. 

Después de 1918, la recién creada República Checoslovaca exigió a Austria la devolución de los cuadros. La parte austriaca reconoció esta reclamación, pero sólo ofreció obras de inferior calidad para su devolución, por lo que no se llegó a ningún acuerdo. Posteriormente, las dependencias del Castillo de Praga fueron decoradas con cuadros adquiridos al llamado Fondo Nacional Masaryk y parte de las antiguas colecciones se prestaron a la Galería Nacional. Sin embargo, no existía una pinacoteca independiente en el Castillo. En 1961, otra parte de los cuadros con temas religiosos y entonces "inapropiados" para el régimen comunista fue entregada al Instituto Estatal de Protección del Patrimonio y se completó la fragmentación y reducción de las colecciones originales. 

Sin embargo, el cambio de ambiente en la década de 1960 contribuyó positivamente a que, tras un largo esfuerzo, las caballerizas originales situadas bajo la Sala Española se convirtieran en 1964-1965 en un espacio para la nueva Pinacoteca del Castillo de Praga. Bajo la dirección del profesor Jaromír Neumann, por decisión del presidente Antonín Novotný, se restableció la intención original del emperador Rodolfo II. La exposición, que sólo es una fracción de las colecciones originales en términos de número, pero significativa en la calidad de las obras,  regresó al Castillo de Praga y se hizo accesible al público. 

Después de 1989, se busca una nueva cara del Castillo de Praga. Espacios que antes estaban cerrados se abren a los visitantes, muchas cosas se reconstruyen y cambian. El deseo de dar al Castillo un aspecto más nuevo y moderno llevó también a la decisión de transformar la Pinacoteca. En 1995-1998, todas las salas se renovaron sustancialmente desde el punto de vista técnico para adaptarlas a las normas modernas de seguridad y climatización. Según el proyecto de Bořek Šípek, se modificaron los espacios de exposición, se rediseñó la entrada y se equiparon los interiores con mobiliario de asiento. 

También se pudieron adquirir varios cuadros de la colección original de Rodolfo II. Las piezas más importantes de la pintura histórica y moderna se seleccionaron para la exposición permanente y las obras individuales se dispusieron según su afiliación a las escuelas de pintura locales. Los cuadros de los maestros de la época de Rodolfo II y las obras de la colección del emperador tienen su propio espacio. 

La autora del último concepto de la Pinacoteca es la historiadora del arte Eliška Fučíková, antigua compañera del profesor Neumann, que participó en la investigación sobre la historia de las colecciones del Castillo de Praga. La colección de la nueva Pinacoteca recibió reconocimiento internacional en 2001, cuando se expuso en Maastricht.