Ziolkowski est né le 6 septembre 1908 à Boston de parents polonais. Orphelin à l’âge d’un an lorsque ses deux parents meurent dans un accident de bateau, il grandit dans une série de foyers d’accueil et est élevé par un boxeur irlandais. Bien qu’il n’ait jamais reçu de formation artistique formelle, ses dons de sculpteur ont commencé à se manifester très tôt. Après s’être inscrit à l’École technique de Rindge, il est devenu apprenti chez un fabricant de navires de Boston.
Il commence à sculpter du bois et à l’âge de 20 ans, il est devenu un fabricant de meubles accompli. Sa première sculpture en marbre, réalisée en 1932, rend hommage au juge Frederick Pickering Cabot, qui l’avait inspiré lorsqu’il avait grandi dans les quartiers difficiles de Boston.
Ziolkowski s’installe en Nouvelle-Bretagne, dans le Connecticut, pour commencer sa vie d’artiste professionnel. Il a commencé à vendre des sculptures commandées en Nouvelle-Angleterre et à New York. En 1939, Ziolkowski est engagé comme assistant de sculpteur par Gutzon Borglum sur son projet du mont Rushmore. Selon Lincoln Borglum, le fils de Gutzon, il était malheureux, s’attendant à être nommé assistant principal. Au lieu de cela, Lincoln était l’assistant principal, et lorsque Ziolkowski a discuté de ses ordres, Borglum l’a renvoyé par télégramme. Une bagarre entre Lincoln et Ziolkowski a dû être interrompue.
Sa sculpture d’Ignacy Jan Paderewski remporte le premier prix à l’Exposition universelle de New York en 1939. La renommée qui en a résulté, ainsi que sa familiarité avec les Black Hills, ont incité plusieurs chefs Lakotas, dont un ancien lakota nommé Henry Standing Bear, à lui écrire au sujet d’un monument en l’honneur du Crazy Horse.
Le chef Henry Standing Bear des Lakotas lui écrit : » Mes collègues chefs et moi aimerions que l’homme blanc sache que l’homme rouge a aussi de grands héros. »
Ziolkowski a rencontré les dirigeants peu de temps après et a commencé à planifier un monument. Au cours des années suivantes, il a mené des recherches et a commencé à planifier la sculpture. Il rencontre également Ruth Ross, une jeune passionnée d’art, qui deviendra plus tard sa seconde épouse. Il a mis le projet en suspens lorsque les États-Unis sont entrés dans la Seconde Guerre mondiale. Il s’est porté volontaire pour le service et a rejoint l’Armée américaine le 17 mai 1943. Il est blessé en 1944 à Omaha Beach en Normandie. Il est libéré comme sergent le 5 novembre 1945.
En 1947, Ziolkowski s’installe dans les Black Hills et commence à chercher une montagne appropriée pour sa sculpture. Il pensait que les Tetons du Wyoming seraient le meilleur choix, où la roche serait meilleure pour la sculpture, mais les Lakotas voulaient le mémorial dans les Black Hills sacrées sur une montagne de 180 m (600 pieds) de haut. Le monument devait être la plus grande sculpture du monde. Une fois terminé, il mesurerait 172 m (563 pieds) de haut sur 195 m (641 pieds) de long. La tête de Crazy Horse serait assez grande pour contenir toutes les têtes de 18 mètres (60 pieds) des présidents du mont Rushmore.
Le 3 juin 1948, la première explosion a eu lieu et le mémorial a été dédié au peuple amérindien. En 1950, Ziolkowski rencontre Ruth Ross, de 18 ans sa cadette, qui était bénévole au monument. Elle est devenue la deuxième épouse de Ziolkowski cette année-là. Les travaux se sont poursuivis lentement, car il a refusé d’accepter des subventions gouvernementales. Au lieu de cela, comme il l’a personnellement déclaré lors d’une apparition dans l’émission télévisée « To Tell the Truth », il a collecté des fonds pour le projet en facturant l’entrée de soixante-quinze cents dans la zone de travail du monument.