L’edificio fu costruito su iniziativa di Nikita Krusciov come arena moderna per le riunioni del Partito comunista. Sebbene l’architettura dell’edificio progettato contrastasse nettamente con l’ambiente storico, i lavori di costruzione iniziarono nel 1959. La struttura fu aperta insieme al 22 ° Congresso del Partito Comunista dell’Unione Sovietica il 17 ottobre 1961. Nel 1962 gli architetti del progetto, guidati da Mikhail Posokhin, ricevettero il Premio Lenin per il loro lavoro.
L’edificio è un moderno design in vetro e cemento, con quasi la metà di esso (17 metri) sommerso nel sottosuolo. La sala principale è in grado di contenere seimila persone e la sua acustica era considerata la più avanzata all’epoca. Nel corso degli anni questo è stato il luogo principale per eventi statali di massa (in particolare congressi di partito). Attualmente è utilizzato per concerti ufficiali e popolari. I cantanti americani Mariah Carey, Tina Turner e Cher hanno suonato nel palazzo, così come il poeta e cantautore canadese Leonard Cohen. Inoltre, è la sede del Teatro del Balletto del Cremlino. Anche il Balletto Bolshoi si esibiva lì mentre il suo edificio storico era chiuso per riparazioni. Il numero di camere individuali è ben oltre ottocento.
Esternamente il palazzo è rivestito in marmo bianco e le finestre sono colorate e riflettenti, il che rende l’antica architettura del Cremlino particolarmente pittoresca. Tuttavia, fin dall’inizio, la costruzione di un grande edificio pubblico moderno in un quartiere storico ha generato abbastanza clamore, soprattutto perché l’edificio ha sostituito diversi edifici storici tra cui il vecchio edificio neoclassico dell’Armeria di Stato e alcuni dei corpi posteriori del Grande Palazzo del Cremlino. Anche se questa non era certo la prima volta che il governo sovietico distrusse il patrimonio architettonico (in particolare i chiostri di Chudov e dell’Ascensione) nel Cremlino e nel paese in generale, dalla metà degli anni 1950 le leggi erano in vigore considerando tutte le costruzioni pre-sovietiche come monumenti storici e impedendo la loro demolizione, in qualche modo rendendo la costruzione illegale. Tuttavia, il Palazzo fu integrato nel più grande complesso del Grande Palazzo del Cremlino con passerelle che lo collegavano alle camere Patriarcali e al Palazzo Terem.