rakennus rakennettiin Nikita Hruštšovin aloitteesta kommunistisen puolueen kokousten nykyaikaiseksi areenaksi. Vaikka suunnitellun rakennuksen arkkitehtuuri oli jyrkässä vastakohdassa historiallisen miljöön kanssa, rakennustyöt aloitettiin vuonna 1959. Rakennelma avattiin yhdessä Neuvostoliiton kommunistisen puolueen 22. kongressin kanssa 17. lokakuuta 1961. Vuonna 1962 Mihail Posokhinin johtaman hankkeen arkkitehdit saivat työstään Leninin palkinnon.
rakennus on moderni lasi-ja betonirakenteinen, ja siitä lähes puolet (17 metriä) on maan alla. Pääsaliin mahtuu kuusi tuhatta ihmistä ja sen akustiikkaa pidettiin tuolloin pisimmällä. Vuosien varrella se oli tärkein paikka massatilaisuuksissa (erityisesti puoluekokouksissa). Nykyisin sitä käytetään virallisissa ja suosituissa konserteissa. Amerikkalaislaulajat Mariah Carey, Tina Turner ja Cher ovat soittaneet palatsissa, samoin kanadalainen runoilija ja laulaja-lauluntekijä Leonard Cohen. Lisäksi se toimii Kremlin balettiteatterin näyttämönä. Myös Bolšoi-baletti esiintyi siellä, kun sen historiallinen rakennus suljettiin korjaustöiden ajaksi. Yksittäisiä huoneita on reilusti yli kahdeksansataa.
Ulkoisesti palatsin edessä on valkoista marmoria ja ikkunat ovat sävytettyjä ja heijastavia, mikä saa Kremlin muinaisarkkitehtuurin näyttämään erityisen maalaukselliselta. Kuitenkin alusta alkaen suuren modernin julkisen rakennuksen rakentaminen historialliseen naapurustoon aiheutti melkoisen hälinän, varsinkin kun rakennus korvasi useita perintörakennuksia, mukaan lukien vanhan uusklassisen rakennuksen Valtion asevarasto ja joitakin suuren Kremlin palatsin taustarakennuksia. Vaikka tämä tuskin oli ensimmäinen kerta, kun neuvostohallitus tuhosi arkkitehtuuriperinnön (erityisesti Tšudovin ja Ascensionin luostarit) Kremlissä ja koko maassa, 1950-luvun puolivälissä oli voimassa lakeja, jotka pitivät kaikkia neuvostoa edeltäneitä rakennuksia historiallisina monumentteina ja estivät niiden purkamisen, tehden rakentamisesta laitonta. Tästä huolimatta palatsi yhdistettiin Kremlin Suuren palatsin suurempaan rakennuskompleksiin, jonka kulkutiet yhdistivät sen patriarkaalisiin kamareihin ja Teremin palatsiin.
