Die Ursprünge der Sammlung gehen auf die Regierungszeit von Rudolf II., Kaiser des Heiligen Römischen Reiches, König von Böhmen und Erzherzog von Österreich, zurück. Ab 1583, als Rudolf II. die böhmischen Stände um einen Beitrag zur Verschönerung der Prager Burg bat, wurden nicht nur Gemälde und Skulpturen in ganz Europa angekauft und Kunstwerke für die Sammlung in Auftrag gegeben, sondern auch mehrere Räume für ihre Ausstellung gebaut. Als Rudolf II. 1612 starb, umfasste die Sammlung mehr als 3.000 Werke. 

Während des folgenden Dreißigjährigen Krieges wurde ein Teil der Gemälde nach Wien gebracht. Ein großer Teil der Sammlung fiel  den schwedischen Truppen zur Beute, die auf Königin Christina´s Befehl reagierten. Sie hat die Anregung von Jan Amos Komenský bekommen, der die Schätze des böhmischen Königreichs vor den katholischen Habsburgern schützen wollte. Mehr als 500 Gemälde gelangten so in die schwedischen Sammlungen, wo die meisten von ihnen bis heute aufbewahrt werden. 

 Da die Prager Burg den Habsburgern weiterhin als repräsentative Residenz dienen sollte, wurde ein Teil der Gemälde aus Wien zurücktransportiert und weitere Gemälde angekauft. Spätestens 1656 umfasste die restaurierte Gemäldegalerie etwa 600 Gemälde, und obwohl sie viel kleiner als das Usprüngliche war, stand ihr künstlerischer Wert dem der Wiener Sammlung nicht nach. Die Gemäldegalerie als solche blieb bis zum Umbau der Prager Burg unter Maria Theresia erhalten und wurde 1762 als selbstständiger Raum geschlossen. Die Gemälde dienten weiterhin nur als Dekoration den königlichen Apartements. Ein Teil der Gemäldesammlung wurde nach Dresden verkauft, andere Gemälde wurden versteigert. 

Nach 1918 forderte die neu gegründete Tschechoslowakische Republik die Gemälde von Österreich zurück. Die österreichische Seite erkannte diesen Anspruch an, bot aber nur minderwertige Werke zur Rückgabe an, so dass keine Einigung erzielt wurde. In der Folge wurden die Räumlichkeiten der Prager Burg mit Gemälden aus dem so genannten Masaryk-Nationalfonds neu ausgestattet, und ein Teil der alten Sammlungen wurde an die Nationalgalerie ausgeliehen. Eine eigene Gemäldegalerie gab es auf der Burg jedoch nicht. Im Jahr 1961 wurde ein weiterer Teil der Gemälde mit damals "unangemessenen" religiösen Themen dem Staatlichen Institut für Denkmalschutz überlassen. Damit war die Zersplitterung und Verkleinerung der ursprünglichen Sammlungen abgeschlossen. 

Der Stimmungsumschwung in den 1960er Jahren trug jedoch positiv dazu bei, dass nach langen Bemühungen in den Jahren 1964-1965 die ursprünglichen Stallungen unter dem Spanischen Saal in einen Raum für die neue Gemäldegalerie der Prager Burg umgewandelt worden waren. Unter der Leitung von Professor Jaromír Neumann wurde auf Anlass des damaligen Präsidenten Antonín Novotný die ursprüngliche Idee des Kaisers Rudolf II. erneuert. Die Ausstellung, die zahlenmäßig nur eine Bruchteil der ursprünglichen Sammlungen, jedoch von der Qualität der einzelnen Kunstwerke her bedeutend ist, kehrte auf die Prager Burg zurück und wurde der Öffentlichkeit zugänglich gemacht. 

Seit 1989 sucht man nach einem neuen Gesicht der Prager Burg. Zuvor geschlossene Räume weruen für Besucher geöffnet, vieles wird rekonstruiert und verändert. Der Wunsch, der Burg ein neueres, modernes Gesicht zu geben, führte auch zu der Entscheidung, die Gemäldegalerie umzuwandeln. In den Jahren 1995-1998 wurden alle Räume grundlegend technisch renoviert und an moderne Sicherheits- und Klimatisierungsstandards angepasst. Entsprechend dem Projekt von Bořek Šípek wurden die Ausstellungsräume verändert, der Eingang neu gestaltet und die Innenräume mit Sitzmöbeln ausgestattet. Außerdem konnten mehrere Gemälde aus Rudolfs ursprünglicher Sammlung erworben werden. Für die Dauerausstellung wurden die wichtigsten Werke der historischen und modernen Malerei ausgewählt und die einzelnen Werke nach ihrer Zugehörigkeit zu lokalen Malschulen geordnet. Gemälde rudolfinischer Meister und Werke aus der Sammlung Kaiser Rudolfs II. haben ihren eigenen Raum.

Die Autorin des neuesten Konzepts der Gemäldegalerie ist die Kunsthistorikerin Eliška Fučíková, eine ehemalige Mitarbeiterin von Professor Neumann, die an der Erforschung der Geschichte der Sammlungen der Prager Burg beteiligt war. Die Sammlung der neuen Gemäldegalerie erhielt 2001 internationale Anerkennung, als sie in ihrer Gesamtheit in Maastricht ausgestellt wurde.