Les origines de la collection remontent au règne de Rodolphe II, empereur romain germanique, roi de Bohême et archiduc d'Autriche. À partir de 1583, lorsque Rodolphe II a demandé aux États tchèques de contribuer à l'amélioration du Château de Prague, des peintures et des sculptures ont été achetées dans toute l'Europe et des œuvres d'art ont été commandées pour la collection, mais plusieurs salles ont également été construites pour les exposer. En 1612, à la mort de Rodolphe II, la collection comptait plus de 3 000 œuvres. 

Pendant la guerre de Trente Ans qui suivit, une partie des tableaux fut emportée à Vienne. Une partie importante de la collection devient la proie des troupes suédoises, sur ordre de la reine Christine et à l'instigation de Jan Amos Comenius, qui souhaite protéger les trésors du royaume de Bohême contre les Habsbourg catholiques. Plus de 500 tableaux ont ainsi trouvé leur place dans les collections suédoises, où la plupart d'entre eux sont restés jusqu'à aujourd'hui. 

Comme le Château de Prague devait continuer à servir de résidence représentative aux Habsbourg, une partie des tableaux fut ramenée de Vienne et d'autres furent achetés. Au plus tard en 1656, la Pinacothèque restaurée contenait environ 600 tableaux et, bien qu'elle soit beaucoup plus petite que l'originale, sa valeur artistique n'était pas inférieure à celle de la collection viennoise. La Pinacothèque en tant que telle est restée préservée jusqu'à la reconstruction du Château de Prague sous Marie-Thérèse, et a été fermée en tant qu'espace séparé en 1762. Les tableaux continuèrent à servir uniquement de décoration pour les appartements royaux. Une grande collection de tableaux a été vendue à Dresde, d'autres tableaux ont été vendus aux enchères. 

Après 1918, la nouvelle République tchécoslovaque a demandé à l'Autriche de lui restituer les tableaux. La partie autrichienne a reconnu cette demande, mais n'a proposé que des œuvres de qualité inférieure, de sorte qu'aucun accord n'a été conclu. Par la suite, les locaux du Château de Prague ont été redécorés avec des peintures achetées au Fonds national Masaryk et une partie des anciennes collections a été prêtée à la Galerie nationale. Cependant, il n'y avait pas de galerie d'art séparée au Château. En 1961, une autre partie des peintures, dont les thèmes religieux étaient alors "inappropriés", a été remise à l'Institut d'État pour la protection du patrimoine. La fragmentation et la réduction des collections d'origine sont ainsi achevées. 

Le changement d'atmosphère dans les années 1960 a cependant contribué positivement au fait que, après de longs efforts, les écuries d'origine situées sous la Salle espagnole ont été transformées en espace pour la nouvelle Pinacothèque du Château de Prague en 1964-1965. Sous la direction du professeur Jaromír Neumann et sur décision du président de l'époque, Antonín Novotný, l'intention initiale de l'empereur Rodolphe II a été rétablie. L'exposition, qui ne représente qu'une fraction des collections d'origine en termes de nombre, mais qui est significative en termes de qualité des œuvres d'art individuelles, est revenue au Château de Prague et est devenue accessible au public. 

Après 1989, on a cherché à donner un nouveau visage au Château de Prague. Des espaces auparavant fermés sont ouverts aux visiteurs, beaucoup de choses sont reconstruites et modifiées. Le désir de donner au Château un aspect plus neuf et moderne a également conduit à la décision de transformer la Pinacothèque. En 1995-1998, toutes les salles ont fait l'objet d'une rénovation technique importante afin de répondre aux normes modernes de sécurité et de climatisation. Selon le projet de Bořek Šípek, les espaces d'exposition ont été modifiés, l'entrée a été repensée et les intérieurs ont été équipés de sièges. Il a également été possible d'acheter plusieurs tableaux de la collection originale de Rudolf. Les œuvres les plus importantes de la peinture historique et moderne ont été sélectionnées pour l'exposition permanente et les œuvres individuelles ont été classées en fonction de leur affiliation aux écoles de peinture locales. Les peintures des maîtres de Rudolphine et les œuvres de la collection de l'empereur Rodolphe II ont leur propre espace. 

L'auteur du dernier concept de la Pinacothèque est l'historienne de l'art Eliška Fučíková, ancienne collaboratrice du professeur Neumann, qui a participé aux recherches sur l'histoire des collections du Château de Prague. La collection de la nouvelle Pinacothèque a reçu une reconnaissance internationale en 2001, lorsqu'elle a été exposée dans son ensemble à Maastricht.