El edificio fue construido por iniciativa de Nikita Jrushchov como un escenario moderno para reuniones del Partido Comunista. Aunque la arquitectura del edificio proyectado contrastaba marcadamente con el entorno histórico, los trabajos de construcción comenzaron en 1959. La estructura fue abierta junto con el 22 Congreso del Partido Comunista de la Unión Soviética el 17 de octubre de 1961. En 1962, los arquitectos del proyecto, encabezados por Mikhail Posokhin, recibieron el Premio Lenin por su trabajo.
El edificio es un diseño moderno de vidrio y hormigón, con casi la mitad (17 metros) sumergido bajo tierra. La sala principal tiene capacidad para seis mil personas y su acústica se consideraba la más avanzada de la época. A lo largo de los años, este fue el lugar principal para eventos estatales de masas (en particular, congresos del partido). Actualmente se utiliza para conciertos oficiales y populares. Las cantantes estadounidenses Mariah Carey, Tina Turner y Cher han tocado en el palacio, al igual que el poeta y cantautor canadiense Leonard Cohen. Además, es la sede del Teatro de Ballet del Kremlin. También el Ballet Bolshoi actuaba allí mientras su edificio histórico estaba cerrado por reparaciones. El número de habitaciones individuales supera las ochocientas.
Externamente, el palacio está revestido de mármol blanco y las ventanas están teñidas y reflectantes, lo que hace que la arquitectura antigua del Kremlin parezca particularmente pintoresca. Sin embargo, desde el principio, la construcción de un gran edificio público moderno en un barrio histórico generó un gran alboroto, especialmente porque el edificio reemplazó a varios edificios históricos, incluido el antiguo edificio neoclásico de la Armería Estatal y algunos de los cuerpos traseros del Gran Palacio del Kremlin. Aunque esta no fue la primera vez que el gobierno soviético destruyó el patrimonio arquitectónico (en particular los claustros de Chudov y Ascensión) en el Kremlin y en el país en general, a mediados de la década de 1950 las leyes estaban en vigor considerando todas las construcciones pre-soviéticas como monumentos históricos e impidiendo su demolición, de alguna manera haciendo que la construcción fuera ilegal. Sin embargo, el Palacio se integró en el complejo más grande del Gran Palacio del Kremlin con pasarelas que lo unían a las cámaras patriarcales y al Palacio Terem.
