Der Pavillon wurde 1747/48 durch Franz Munggenast errichtet. Den plastischen Schmuck auf dem Segmentgiebel schuf der St. Pöltner Bildhauer Johann Peter Widerin. Die künstlerische Innengestaltung erfolgte unter Abt Urban Hauer (1763 - 1785) durch Johann Bergl.

Der Gartenpavillon wurde unter Abt Thomas Pauer 1747 gebaut.
Daher ist auf der linken Seite des großen Raumes ein Porträt von Abt Thomas zu sehen – Inschrift: THOMAS AB(BAS) AEDIFICAVIT ANN(O): 1747. Daneben Chronos mit einer Sanduhr, die ihm entglitten ist – ein Symbol dafür, dass der Abt gestorben ist, bevor der Pavillon vollendet werden konnte.
Auf der rechten Seite ist das Porträt von Abt Urban Hauer zu sehen, unter dem der Pavillon fertig gestellt und ausgestaltet wurde – daher die Inschrift: URBANUS AB(BAS) EXORNAVIT ANN(O): 1764. Ihm zur Seite sind Engel mit Ruhmesposaunen. Darunter sind rechts der Baumeister des Pavillons, Franz Munggenast, und links der Maler der Fresken, Johann Wenzel Bergl, zu sehen.

Der Gartenpavillon war für die Rekreation der Patres nach den strengen Fastenzeiten gedacht, die mit Aderlass und Verabreichung von Abführmitteln endeten und nach denen die Patres geschwächt waren.
Der Zweck des Pavillons war somit der Aufbau der Sinne. Der Mensch besteht nicht nur aus Hirn und Verstand, sondern auch aus Emotionen. Der Pavillon ist daher ausgestattet mit einer unglaublichen Lust nach exotischen Dingen, die typisch für die Zeit des Barock ist.
Man hat sich die neu entdeckte, exotische Welt hereingeholt und abgebildet.

Entsprechend der Bestimmung des Pavillons ist das Thema der Fresken über den Fenstern bzw. Türen im großen Saal des Pavillons die fünf Sinne.
Der Geschmackssinn ist zweimal repräsentiert und zwar über den Türen: Auf der Südseite das „Trinken“ und auf der Nordseite mit z.B. einem Teller voller Meeresfrüchte das „Essen“. Links neben dem Essen ist der Spürsinn (zB. ein Krebs zwickt dem Putto in den Finger) und rechts der Geruchssinn (Putti richen an Blumen etc.). Auf der Südseite ist rechts neben der Türe der Sehsinn (u.a. mit einem Putti mit Brille) und links der Gehörsinn.

Das Deckenfresko hat im Zentrum die Sonne und darunter die vier Jahres-zeiten, die letzte ist der Winter mit der Fackel und daneben der Nordwind.
An den Rändern des Deckenfreskos sind die vier Kontinente dargestellt:
Im Norden Europa – repräsentiert durch eine Gruppe mit der Darstellung von Maria Theresia und ihrem Vater Karl VI. Karl VI. hält ein Dokument in seiner Hand – die Pragmatische Sanktion. Der Maler neben ihm könnte Paul Troger sein – wenn das so ist, dann wäre das eine Hommage von Johann Bergl an seinen Lehrer Paul Troger.
Im Osten ist Asien zu sehen, im Süden Afrika und im Westen Amerika, das mit sehr viel Fantasie dargestellt wird (z.B. mit einem Elefaten!). Zu sehen ist bei Amerika auch Kolumbus mit einem Schiff, also die Entdeckung Amerikas, die auch im östlichen Nebenraum dargestellt ist.
Bei der Darstellung Afrikas hat Bergl zwei Raubtiere gemalt – einen Löwen und einen Tiger. Er hat sicher in Schönbrunn, wo es damals schon eine kaiserliche Menagerie (Tiergehege) gab, Skizzen von den Tieren gemacht, dürfte sich aber den Löwen nicht genau genug abgezeichnet haben. Denn er hat ihm zum Unterschied vom Tiger ein falsches Gebiss gemalt – Mahlzähne wie eine Kuh statt Reißzähne.

In den vier Medaillons im Deckenfresko sind nochmals die vier Jahreszeiten zu sehen – der Frühling im Nordosten mit der Darstellung des Anbauens, der Sommer im Südosten mit den Getreidegarben, der Herbst im Südwesten mit den Früchten und der Winder im Nordwesten mit dem Schlitten.

Das an einen 4-er erinnernde Zeichen am Fresko ist wahrscheinlich das Planetenzeichen für Jupiter. Auf der Pyramide bei Afrika ist auch ein solches Planetenzeichen und zwar das für Saturn.

Im Norden unter Maria Theresia ist eine Figur zu sehen, die ein dunkles Kleid hat. Dieses war ursprünglich in einem kräftigen Rot, das sich aber im Laufe der Jahrhundert verfärbt hat. Diese Figur stellt die Gartenarchitektur dar und hat einen genauen Plan des Stiftsparks neben sich. Die Figur links davon – eine Gärtnerin mit Gießkanne – stellt die Gartenpflege dar.

In den Franzosenkriegen Anfang des 19. Jhs. haben die Franzosen allen Figuren die Augen ausgeschossen. Die Fresken im Pavillon sind daher 1812 erstmals restauriert worden. Bei der Darstellung der Entdeckung Amerikas im östlichen Nebenraum findet man daher die Inschrift „Anton Müller renovavit 1812“. Er hat damals den Namenszug Johann Bergls übermalt und nur seinen Namen stehen lassen. Die Inschrift „JO(H)AN(N) BERGL PINXIT“ ist erst bei der provisorischen Renovierung des Pavillons zur Prandtauer-Ausstellung 1960 wieder zum Vorschein gekommen.
Eine gründliche Restaurierung der Fresken im Gartenpavillon gab es dann zwischen 1996 und 2000.

In diesem Nebenraum gibt es eine ungeheure Fülle von Pflanzen, Tieren und Früchten.
Im Fresko in der Nordwest-Ecke ist z.B. eine Bananenstaude dargestellt und gegenüber in der Nordost-Ecke steht daher auch eine echte Bananenpflanze.

Dieser Raum war wahrscheinlich ein Spielsalon, darauf deuten jedenfalls die Darstellungen im Deckenfresko hin.
In der Mitte schüttet Fortuna ihr Füllhorn aus. Daneben gibt es Karten spielende Engel, die sich über’s Kartenspiel in die Haare geraten sind. Der eine hat dem anderen bereits ein Büschel Haare ausgerissen. Auch Engel mit Billard-Queues sind zu sehen.
Die Gesichter der Tiere sehen teilweise sehr menschlich aus – z.B. ein kleines Afferl mit Kindergesicht in er Nordwest-Ecke oder ein Hase mit sehr menschlichem Gesicht schief gegenüber.
Gut zu sehen sind auch die sog. Giornaten, die Tagwerke der Freskanten, im Putz. Es wurde ja immer nur so viel Fläche für die Fresken verputzt, wie der Maler an einem Tag malen konnte.
Die wichtigen und diffizileren Dinge hat Johann Bergl selbst gemalt, anderes sicher tw. seine Helfer.