muinaisessa Intiassa opetukset siirtyivät opettajalta oppilaalle noin 1 500 vuoden ajan. 900-luvulla perimätieto kertoo, että vaeltava askeetti nimeltä Tilopa (988-1069) saavutti täyden oivalluksen. Tilopa antoi monia opetuksia, kuten kuuluisan ”Ganges Mahamudran”, jota Lama Ole Nydahl opettaa usein Diamond Way-Buddhalaiskursseilla. Tilopa valitsi Naropan pääoppilaakseen.
Naropa (1016-1100) oli buddhalaisen filosofian entinen professori. Tilopa käytti hyvin voimakkaita menetelmiä murtaakseen Naropan riippuvuuden käsitteistä (Naropan 12 suurta koetta), ja lopulta Naropa tajusi opetusten sisäisen merkityksen. Naropa systematisoi tilopalta saamansa meditaatiot Naropan kuuluisiksi kuudeksi joogaksi: Illusory Body, Phowa, Conscious Dreaming, Clear Light, Bardo, and Inner Heat. Kaikkia näitä meditaatioita harjoitetaan nykyään Karma Kagyu-suvussa. Diamond Wayn buddhalaiset opiskelijat harjoittelevat Phowa-ja Clear Light-meditaatioita.
Marpa Kääntäjä (1012-1097) oli maallikko, jolla oli perhe ja yritys. Hän oli myös täysin oivaltanut buddhalainen mestari. Marpa teki vaikean ja vaarallisen matkan Tiibetistä Intiaan kävellen Himalajan yli ei kerran, vaan kolme kertaa. Marpa yhdisti mestari Maitripan mahamudran opetukset ja naropan mietiskelyt sisäisistä energioista (kuudesta joogasta). Marpa toi takaisin monia tärkeitä opetuksia ja käänsi ne Tiibetiksi. Marpa on ensimmäinen tiibetiläinen mestari tässä sukuhaarassa ja Kagyu-koulukunnan perustaja.
Milarepalla oli synkkä lapsuus, ja hän käytti mustaa magiaa kostaakseen monille hänen perhettään sortaneille ihmisille. Kaduttuaan hän kääntyi buddhalaisuuteen puhdistaakseen menneet pahat tekonsa. Milarepa rakensi opettajalleen Marpalle paljain käsin useita torneja, jotka Marpa julmasti käski purkaa uudelleen. Tällä tavoin Marpa poisti taitavasti monia karmallisia esteitä oppilaalleen. Milarepa vietti vuosia retriitissä ja saavutti valaistumisen. Hänet tunnetaan parhaiten spontaaneista oivalluslauluistaan.
Gampopa oli Milarepan tunnetuin oppilas. ”Tohtori Dhagposta” menetti vaimonsa sairauteen. Kuolinvuoteellaan hän sai miehen lupaamaan, ettei ottaisi toista vaimoa, ja niin Gampopasta tuli munkki. Gampopa harjoitteli Milarepan kanssa, saavutti oivalluksen ja keräsi ehkä 50 000 opiskelijaa. Neljä gampopan oppilasta perusti neljä Kagyu-suvun päähaaraa: Barom Kagyu, Karma Kagyu, Phagdru Kagyu ja Tshalpa Kagyu.
toinen Milarepan oppilaista, yogi Rechungpa, toi useita tärkeitä lähetyksiä Karma Kagyu-sukuun ja toimi Gampopan ohella Dusum Khyenpan (1110-1193) opettajana. Tavattuaan Dusum Khyenpan Gampopa kertoi oppilailleen: ”hän on olevinaan opetuslapseni pitääkseen sukujuureni tuleville tunteville olennoille, mutta todellisuudessa hän on jo saavuttanut polun tavoitteen.”
Dusum Khyenpasta tuli seuraava Kagyu-suvun haltija. Ennen kuolemaansa hän sanoi oppilailleen: ”säilyttääkseni ja levittääkseni näitä opetuksia tulen jälleensyntymään.”Ja aivan kuten hän oli ennustanut, toinen Karmapa ilmestyi pian ja kertoi kaikille hyvin nuorena olevansa Karmapa. Karmapat ovat siten Tiibetin buddhalaisuuden vanhin jälleensyntynyt sukuhaara. Dusum Khyenpasta alkanut perimyslinja tunnetaan nimellä Karma Kagyu-perimyslinja. Sukuhaaran nimessä oleva ”Karma” tulee karmapasta.
Karma Kagyu-sukujuuret jatkuivat ensimmäisestä Karmapasta, Dusum Khyenpasta, hänen sukujuuriensa haltijoiden ja perättäisten Karmapa-reinkarnaatioiden kautta tämän päivän 17. Karmapaan.