Ziolkowski nacque a Boston il 6 settembre 1908 da genitori polacchi. Orfano all ” età di uno quando entrambi i suoi genitori sono morti in un incidente in barca, è cresciuto in una serie di case famiglia, ed è stato sollevato da un pugile irlandese. Anche se non ha mai ricevuto alcuna formazione artistica formale, i suoi doni come scultore ha cominciato a mostrare in tenera età. Dopo essersi messo attraverso Rindge Technical School, divenne apprendista di un costruttore di navi di Boston.
Iniziò a scolpire il legno e all’età di 20 anni era diventato un abile produttore di mobili. La sua prima scultura in marmo, realizzata nel 1932, onorò il giudice Frederick Pickering Cabot, che lo aveva ispirato da bambino crescendo nei quartieri difficili di Boston.
Ziolkowski si trasferì a New Britain, Connecticut, per iniziare la vita come artista professionista. Iniziò a vendere sculture commissionate in tutto il New England e New York. Nel 1939, Ziolkowski fu assunto come assistente dello scultore da Gutzon Borglum nel suo progetto Mount Rushmore. Secondo Lincoln Borglum, il figlio di Gutzon, era infelice, avendo previsto di essere nominato assistente primario. Invece, Lincoln era l’assistente principale, e quando Ziolkowski discuteva dei suoi ordini, Borglum lo licenziò per telegramma. Una scazzottata tra Lincoln e Ziolkowski doveva essere interrotta.
La sua scultura di Ignacy Jan Paderewski ha vinto il primo premio alla Fiera Mondiale di New York del 1939. La fama risultante, così come la sua familiarità con le Black Hills, spinse diversi capi Lakota, tra cui un anziano Lakota di nome Henry Standing Bear, a scrivergli di un monumento in onore di Crazy Horse.
Il capo Henry Standing Bear dei Lakota gli scrisse, dicendo: “I miei colleghi capi e io vorremmo che l’uomo bianco sapesse che anche l’uomo rosso ha grandi eroi.”
Ziolkowski incontrò i leader poco dopo e iniziò a progettare un monumento. Negli anni successivi, ha condotto ricerche e ha iniziato a pianificare la scultura. Incontrò anche Ruth Ross, una giovane appassionata d’arte, che in seguito sarebbe diventata la sua seconda moglie. Mise il progetto in attesa quando gli Stati Uniti entrarono nella seconda guerra mondiale. Si offrì volontario per il servizio e si unì all’esercito degli Stati Uniti il 17 maggio 1943. Fu ferito nel 1944 a Omaha Beach in Normandia. Fu congedato come sergente il 5 novembre 1945.
Nel 1947 Ziolkowski si trasferì sulle Black Hills e iniziò a cercare una montagna adatta per la sua scultura. Pensava che i Teton del Wyoming sarebbero stati la scelta migliore, dove la roccia sarebbe stata migliore per l’intaglio, ma i Lakota volevano il memoriale nelle sacre Black Hills su una montagna alta 180 metri. Il monumento doveva essere la più grande scultura del mondo. Una volta completato, sarebbe alto 563 piedi (172 m) per 641 piedi (195 m) di lunghezza. La testa di Crazy Horse sarebbe abbastanza grande da contenere tutte le teste alte 18 metri dei Presidenti del Monte Rushmore.
Il 3 giugno 1948 fu fatta la prima esplosione e il memoriale fu dedicato al popolo nativo americano. Nel 1950, Ziolkowski incontrò Ruth Ross, 18 anni più giovane di lui, che era un volontario al monumento. Divenne la seconda moglie di Ziolkowski quell’anno. Il lavoro continuò lentamente, dal momento che rifiutò di accettare sovvenzioni governative. Invece, come ha personalmente dichiarato in un’apparizione nello show televisivo “To Tell the Truth”, ha raccolto fondi per il progetto facendo pagare settantacinque centesimi di ammissione all’area di lavoro del monumento.