Magnus był nieślubnym synem króla Olafa Haraldssona (późniejszego Świętego Olafa), jego Angielskiej konkubiny Alfhildy, początkowo niewolnikiem (thrallem) Królowej Olafa Astrid Olofsdotter. Urodzone przedwcześnie dziecko było słabe i nie mogło oddychać przez pierwsze kilka minut i prawdopodobnie nie spodziewano się, że przeżyje. Olaf nie był obecny przy narodzinach dziecka, a jego ojcem chrzestnym został Islandzki skald Sigvatr Þórðarson. W pochopnym chrzcie Sigvatr nazwał Magnusa imieniem największego króla, o którym wiedział, a także największego wzorca Olafa, Karli Magnus lub Karola Wielkiego. Wbrew przeciwnościom, Magnus zaczął rosnąć silny i zdrowy, a on stał się niezwykle ważny dla Olafa jako Jego jedynego syna.
Olaf został zdetronizowany przez duńskiego króla Cnuta Wielkiego w 1028 roku i udał się na wygnanie ze swoją rodziną i dworem, w tym młodym Magnusem. Podróżowali przez góry i przez Eidskog zimą, weszli do Värmlandu i otrzymali schronienie od wodza zwanego Sigtrygg w Närke. Po kilku miesiącach opuścili Närke, a w marcu udali się na wschód w kierunku Sigtuny, gdzie szwedzki król Anund Jakub zostawił im statek. Następnie popłynął przez Morze Bałtyckie i do Zatoki Fińskiej, ostatecznie lądując na Rusi Kijowskiej (Garðaríki). Po raz pierwszy zatrzymali się w Staraya Ladoga (Aldeigjuborg), aby zorganizować dalszą podróż. Stamtąd udali się na południe do Nowogrodu (Holmgard), gdzie Olaf szukał pomocy u wielkiego księcia Jarosława Mądrego. Jarosław jednak nie chciał angażować się bezpośrednio w skandynawskie walki o władzę i odmówił pomocy. Po pewnym czasie, na początku 1030 roku Olaf dowiedział się, że hrabia Lade Håkon Eiriksson, Regent Cnuta w Norwegii, zniknął na morzu i zebrał swoich ludzi, aby szybko powrócić do Norwegii. Magnus pozostał pod opieką Jarosława i jego żony Ingegerdy.
na początku 1031 roku przybyła grupa, w której skład wchodził Stryj Magnusa, Harald Sigurdsson (później również król, znany jako Harald Hardrada), aby donieść o śmierci jego ojca w bitwie pod Stiklestad. Przez następne kilka lat Magnus był wykształcony w języku staroruskim i greckim i był szkolony na wojownika. W 1030 roku Cnut mianował swoją pierwszą żonę Ælfgifu i ich syna Sveina regentami, ale Norwegowie uznali ich rządy za uciążliwe i do czasu śmierci Cnuta w 1035 roku zostali wypędzeni, a Magnus został królem. Einar Thambarskelfir i Kalf Arnesson, którzy po śmierci Olafa w 1030 roku starali się zostać regentami, udali się razem na Ruś Kijowską, aby przywrócić chłopca do władzy jako króla Norwegii. Po uzyskaniu zgody Ingegerda powrócili wraz z Magnusem do Sigtuny na początku 1035 roku i otrzymali wsparcie od króla szwedzkiego, brata macochy Magnusa Astrydy. Astrid natychmiast stała się ważnym zwolennikiem Magnusa i zebrała się w Szwecji armia na czele z Einarem i Kalfem, aby osadzić Magnusa na norweskim tronie.
