Magnus oli englantilaisen jalkavaimonsa Alfhildin Kuningas Olaf Haraldssonin (myöhemmin St. Olaf) avioton poika, alun perin Olafin kuningattaren Astrid Olofsdotterin Orja (thrall). Keskosena syntynyt lapsi oli heikko ja kykenemätön hengittämään ensimmäiset minuutit, eikä hänen todennäköisesti odotettu selviävän hengissä. Olaf ei ollut läsnä lapsen syntyessä, ja hänen islantilaisesta skaldistaan Sigvatr Þórðarsonista tuli hänen kummisetänsä. Hätäisessä kasteessa Sigvatr nimesi Magnuksen tuntemansa suurimman kuninkaan, myös Olafin suurimman esikuvan Karla Magnuksen eli Kaarle Suuren mukaan. Vastoin odotuksia Magnus kasvoi vahvaksi ja terveeksi, ja hänestä tuli OLAFille elintärkeä hänen ainoana poikanaan.
Tanskan kuningas Cnut Suuri syrjäytti Olafin vuonna 1028, ja hän lähti maanpakoon perheensä ja hovinsa kanssa, mukaan lukien nuori Magnus. He matkustivat talvella vuorten yli ja eidskogin läpi, saapuivat Värmlantiin ja saivat majapaikan sigtrygg-nimiseltä päälliköltä Närkessä. Muutaman kuukauden kuluttua he lähtivät Närkestä ja lähtivät maaliskuussa itään kohti Sigtunaa, jonne Ruotsin kuningas Anund Jaakob oli jättänyt heille laivan. Tämän jälkeen seurue purjehti Itämeren läpi Suomenlahdelle ja rantautui lopulta Kiovan Rusiin (Garðaríki). He tekivät ensimmäisen pysähdyksensä Staraja Laatokalla (Aldeigjuborg) järjestääkseen jatkomatkan. Sieltä he matkustivat etelään Novgorodiin (Holmgardiin), jossa Olaf pyysi apua suuriruhtinas Jaroslav viisaalta. Jaroslav ei kuitenkaan halunnut sekaantua suoraan Skandinavian valtataisteluihin ja kieltäytyi auttamasta. Jonkin ajan kuluttua, vuoden 1030 alussa, Olaf sai tietää, että Norjan Cnut: n sijaishallitsija Lade Håkon Eiriksson oli kadonnut merellä, ja kokosi miehensä tehdäkseen pikaisen paluun Norjaan. Magnus jäi Jaroslavin ja hänen vaimonsa Ingegerdin hoiviin.
alkuvuodesta 1031 saapui seurue, johon kuului Magnuksen setä Harald Sigurdsson (josta tuli myöhemmin myös kuningas ja joka tunnettiin tuolloin nimellä Harald Hardrada) kertomaan uutisen isänsä kuolemasta Stiklestadin taistelussa. Seuraavien vuosien ajan Magnus sai opetusta vanhalta Venäjältä ja jonkin verran Kreikalta ja sai soturikoulutuksen. Vuonna 1030 Cnut nimitti ensimmäisen vaimonsa Ælfgifun ja heidän poikansa Sveinin sijaishallitsijoiksi, mutta norjalaiset kokivat heidän hallintonsa sortavaksi ja kun Cnut kuoli vuonna 1035, heidät oli ajettu pois ja Magnus asetettiin kuninkaaksi. Einar Thambarskelfir ja Kalf Arnesson, jotka olivat molemmat pyrkineet Cnut: n alaisuuteen sijaishallitsijoiksi Olafin kuoltua vuonna 1030, olivat lähteneet yhdessä Kiovan Rusiin tuomaan poikaa takaisin Norjan kuninkaaksi. Saatuaan Ingegerdin hyväksynnän he palasivat Magnuksen kanssa Sigtunaan vuoden 1035 alussa ja saivat tukea Ruotsin kuninkaalta, Magnuksen äitipuolen Astridin veljeltä. Astridista tuli heti Magnuksen tärkeä tukija, ja Ruotsiin koottiin Einarin ja KALFIN johtama armeija, joka asetti Magnuksen Norjan valtaistuimelle.
