Le bâtiment a été construit à l’initiative de Nikita Khrouchtchev en tant qu’arène moderne pour les réunions du Parti communiste. Bien que l’architecture du bâtiment projeté contrastait fortement avec le milieu historique, les travaux de construction ont commencé en 1959. La structure a été ouverte avec le 22e Congrès du Parti communiste de l’Union soviétique le 17 octobre 1961. En 1962, les architectes du projet, dirigés par Mikhail Posokhin, ont reçu le prix Lénine pour leur travail.
Le bâtiment est de conception moderne en verre et en béton, dont près de la moitié (17 mètres) est immergée sous terre. La salle principale peut accueillir six mille personnes et son acoustique était considérée comme la plus avancée à l’époque. Au fil des ans, c’était le lieu principal pour les événements de masse de l’État (en particulier les congrès des partis). Actuellement, il est utilisé pour des concerts officiels et populaires. Les chanteuses américaines Mariah Carey, Tina Turner et Cher ont joué au palace, tout comme le poète et auteur-compositeur-interprète canadien Leonard Cohen. En outre, c’est le lieu du Théâtre de ballet du Kremlin. Le Ballet du Bolchoï s’y produisait également alors que son bâtiment historique était fermé pour réparations. Le nombre de chambres individuelles est bien supérieur à huit cents.
Extérieurement, le palais est recouvert de marbre blanc et les fenêtres sont teintées et réfléchissantes, ce qui rend l’architecture ancienne du Kremlin particulièrement pittoresque. Cependant, dès le début, la construction d’un grand bâtiment public moderne dans un quartier historique a suscité un tollé, d’autant plus que le bâtiment a remplacé plusieurs bâtiments patrimoniaux, dont l’ancien bâtiment néo-classique de l’Armurerie d’État et certains des corps arrière du Grand Palais du Kremlin. Bien que ce ne soit pas la première fois que le gouvernement soviétique détruit le patrimoine architectural (notamment les cloîtres de Tchoudov et de l’Ascension) au Kremlin et dans le pays en général, au milieu des années 1950, des lois étaient en place considérant toutes les constructions pré-soviétiques comme des monuments historiques et empêchant leur démolition, rendant parfois la construction illégale. Néanmoins, le Palais a été intégré dans le plus grand complexe du Grand Palais du Kremlin avec des passerelles le reliant aux chambres patriarcales et au Palais Terem.