Ziolkowski nació el 6 de septiembre de 1908, en Boston, de padres polacos. Huérfano a la edad de un año, cuando sus padres murieron en un accidente de barco, creció en una serie de hogares de acogida, y fue criado por un boxeador irlandés. Aunque nunca recibió ninguna formación artística formal, sus dones como escultor comenzaron a mostrarse a una edad temprana. Después de pasar por la Escuela Técnica Rindge, se convirtió en aprendiz de un fabricante de barcos de Boston.
Comenzó a tallar madera y a la edad de 20 años se había convertido en un consumado fabricante de muebles. Su primera escultura de mármol, hecha en 1932, honró al juez Frederick Pickering Cabot, quien lo había inspirado cuando era niño y crecía en los barrios difíciles de Boston.
Ziolkowski se mudó a New Britain, Connecticut, para comenzar su vida como artista profesional. Comenzó a vender esculturas por encargo en Nueva Inglaterra y Nueva York. En 1939, Ziolkowski fue contratado como asistente de escultor por Gutzon Borglum en su proyecto Mount Rushmore. De acuerdo con Lincoln Borglum, el hijo de Gutzon, era infeliz, habiendo esperado ser nombrado asistente principal. En cambio, Lincoln era el asistente principal, y cuando Ziolkowski discutió sobre sus órdenes, Borglum lo despidió por telegrama. Una pelea a puñetazos entre Lincoln y Ziolkowski tuvo que terminar.
Su escultura de Ignacy Jan Paderewski ganó el primer premio en la Feria Mundial de Nueva York de 1939. La fama resultante, así como su familiaridad con las Colinas Negras, impulsaron a varios Jefes Lakota, incluido un anciano Lakota llamado Henry Oso Permanente, a escribirle sobre un monumento en honor al Caballo Loco.
El jefe Henry Oso Permanente de los Lakota le escribió, diciendo: «A mis compañeros jefes y a mí nos gustaría que el hombre blanco supiera que el hombre rojo también tiene grandes héroes.»
Ziolkowski se reunió con los líderes poco después y comenzó a planificar un monumento. En los años siguientes, llevó a cabo investigaciones y comenzó a planificar la escultura. También conoció a Ruth Ross, una joven entusiasta del arte, que más tarde se convertiría en su segunda esposa. Dejó el proyecto en suspenso cuando los Estados Unidos entraron en la Segunda Guerra Mundial. Se ofreció voluntario para el servicio y se unió al Ejército de los Estados Unidos el 17 de mayo de 1943. Fue herido en 1944 en la playa de Omaha en Normandía. Fue dado de alta como sargento el 5 de noviembre de 1945.
En 1947 Ziolkowski se mudó a Black Hills y comenzó a buscar una montaña adecuada para su escultura. Pensó que los Wyoming Tetons serían la mejor opción, donde la roca sería mejor para tallar, pero los Lakota querían el monumento en las colinas Negras sagradas en una montaña de 600 pies (180 m) de altura. Se esperaba que el monumento fuera la escultura más grande del mundo. Una vez terminado, tendría 563 pies (172 m) de alto por 641 pies (195 m) de largo. La cabeza de Caballo Loco sería lo suficientemente grande como para contener todas las cabezas de 60 pies (18 m) de altura de los Presidentes en el Monte Rushmore.
El 3 de junio de 1948, se hizo la primera explosión, y el monumento fue dedicado al pueblo nativo americano. En 1950, Ziolkowski conoció a Ruth Ross, 18 años menor que él, que era voluntaria en el monumento. Se convirtió en la segunda esposa de Ziolkowski ese año. El trabajo continuó lentamente, ya que se negó a aceptar subvenciones del gobierno. En cambio, como declaró personalmente en una aparición especial en el programa de televisión «To Tell the Truth», recaudó dinero para el proyecto cobrando setenta y cinco centavos de admisión al área de trabajo del monumento.
