Budova Kulturního domu byla postavena v místech bývalé Orlovny (z roku 1929), hostince Radio a špitálu s kaplí sv. Alžběty. Stavba včetně přípravných prací probíhala od roku 1956 až do slavnostního otevření 31. října 1981.

Výzdoba v podobě hroznu složeného z maleb na dřevěných terčích, od akademické malířky Blanky Šperkové, zobrazuje vinařskou tradici města a jeho stavební dominanty. Najdeme tu klášter Rosa Coeli, kapli sv. Antonína, kapli sv. Jana Křtitele i zámek.

Po roce 1990 byl chátrající objekt pronajímán, částečně přestavěn na byty, další rekonstruovanou část využívá dodnes pošta. Prostory určené pro kulturní vyžití byly pro špatný stav uzavřeny a Hrozen se na přelomu tisíciletí ztratil. V roce 2016 byl nalezen ve velmi špatném stavu. Ujal se ho kounický truhlář David Novotný, terče spravil a instaloval na překližkovou podložku. 20. října 2016 bylo dílo podruhé na stejném místě slavnostně odhaleno.