Ziolkowski wurde am 6. September 1908 in Boston als Sohn polnischer Eltern geboren. Im Alter von einem Jahr verwaist, als seine beiden Eltern bei einem Bootsunfall starben, Er wuchs in einer Reihe von Pflegeheimen auf, und wurde von einem irischen Boxer aufgezogen. Obwohl er nie eine formale Kunstausbildung erhielt, zeigten sich seine Gaben als Bildhauer schon früh. Nachdem er die Rindge Technical School durchlaufen hatte, wurde er Lehrling bei einem Bostoner Schiffsbauer.
Er begann Holz zu schnitzen und war im Alter von 20 Jahren ein versierter Möbelhersteller geworden. Seine erste Marmorskulptur aus dem Jahr 1932 ehrte Richter Frederick Pickering Cabot, der ihn als Kind in den rauen Vierteln von Boston inspiriert hatte.
Ziolkowski zog nach New Britain, Connecticut, um ein Leben als professioneller Künstler zu beginnen. Er begann, in Auftrag gegebene Skulpturen in ganz New England und New York zu verkaufen. 1939 wurde Ziolkowski von Gutzon Borglum als Bildhauerassistent für sein Mount Rushmore-Projekt engagiert. Laut Lincoln Borglum, Gutzons Sohn, war er unglücklich, da er erwartet hatte, zum Hauptassistenten ernannt zu werden. Stattdessen war Lincoln der Hauptassistent, und als Ziolkowski über seine Befehle stritt, entließ Borglum ihn per Telegramm. Ein Faustkampf zwischen Lincoln und Ziolkowski musste abgebrochen werden.
Seine Skulptur Ignacy Jan Paderewski gewann 1939 auf der New Yorker Weltausstellung den ersten Preis. Der daraus resultierende Ruhm sowie seine Vertrautheit mit den Black Hills veranlassten mehrere Lakota-Häuptlinge, darunter einen Lakota-Ältesten namens Henry Standing Bear, ihm über ein Denkmal zu Ehren von Crazy Horse zu schreiben.
Häuptling Henry Standing Bear von den Lakota schrieb ihm: „Meine Mithäuptlinge und ich möchten, dass der weiße Mann weiß, dass der rote Mann auch große Helden hat.“
Ziolkowski traf sich kurz darauf mit den Führern und begann mit der Planung eines Denkmals. In den nächsten Jahren forschte er und begann mit der Planung der Skulptur. Er lernte auch Ruth Ross kennen, eine junge Kunstliebhaberin, die später seine zweite Frau werden sollte. Er legte das Projekt auf Eis, als die Vereinigten Staaten in den Zweiten Weltkrieg eintraten. Er meldete sich freiwillig zum Dienst und trat am 17. Mai 1943 der United States Army bei. Er wurde 1944 am Omaha Beach in der Normandie verwundet. Er wurde am 5. November 1945 als Sergeant entlassen.
1947 zog Ziolkowski in die Black Hills und begann nach einem geeigneten Berg für seine Skulptur zu suchen. Er dachte, dass die Wyoming Tetons die beste Wahl wären, wo der Felsen besser zum Schnitzen geeignet wäre, aber die Lakota wollten das Denkmal in den heiligen Black Hills auf einem 600 Fuß (180 m) hohen Berg. Das Denkmal sollte die größte Skulptur der Welt sein. Nach Fertigstellung wäre es 563 Fuß (172 m) hoch und 641 Fuß (195 m) lang. Der Kopf von Crazy Horse wäre groß genug, um alle 60 Fuß (18 m) hohen Köpfe der Präsidenten am Mount Rushmore aufzunehmen.
Am 3. Juni 1948 wurde die erste Sprengung durchgeführt und das Denkmal den amerikanischen Ureinwohnern gewidmet. 1950 lernte Ziolkowski die 18 Jahre jüngere Ruth Ross kennen, die als Freiwillige am Denkmal arbeitete. In diesem Jahr wurde sie Ziolkowskis zweite Frau. Die Arbeit ging langsam weiter, da er sich weigerte, staatliche Zuschüsse anzunehmen. Stattdessen sammelte er, wie er persönlich bei einem Gastauftritt in der TV-Show „To Tell the Truth“ erklärte, Geld für das Projekt, indem er fünfundsiebzig Cent Eintritt in den Arbeitsbereich des Denkmals verlangte.
