Como miembro de Wrecking Crew, Osborn contribuyó a sencillos de éxito como «Aquarius/Let the Sunshine In» de the Fifth Dimension, «Dizzy» de Tommy Roe, «Midnight Confessions» de Grass Roots, «Windy» de the Association, «MacArthur Park» de Richard Harris, «Simon & Living Boy in New York» y «Bridge Over Troubled Water», «Ventura Highway» de Estados Unidos y «Close to You» de The Carpenters.»
Osborn a menudo actuaba junto a otros miembros de Wrecking Crew, el baterista Hal Blaine y el tecladista Larry Knechtel; ese trío tocó en la grabación original del elenco de Los Ángeles de Rocky Horror Picture Show en 1974 y el éxito de la familia Partridge «I Think I Love You».»
Popular en Rolling Stone
Después de una década de asociación con The Wrecking Crew, Osborn se mudó de Los Ángeles a Nashville, donde pronto se convirtió en uno de los músicos de sesión más demandados de la música country, actuando en Merle Haggard, Reba McEntire, Chet Atkins y Kenny Rogers, según Variety reports. The Wrecking Crew declaró que Osborn apareció en 53 éxitos nacionales Número uno.
Osborn también tocó en el álbum de Neil Young Comes a Time de 1978 y en Old Ways de 1985, ambos parcialmente grabados en Nashville, así como en Cold Spring Harbor de Billy Joel, Autorretrato de Bob Dylan, Girasol de The Beach Boys y el álbum solista homónimo de Paul Simon.
«Cuando empecé este documental, era muy difícil llegar a todos los jugadores de todo el país. Pero no había manera de que no fuera a hacer el viaje para conocer a Joe», escribió Tedesco en la página de Facebook de The Wrecking Crew film.
» Se aseguró de encontrar tiempo para que hiciera esa entrevista que era tan importante para la historia de the Wrecking Crew. A lo largo de los años, siempre estuvo allí cuando lo necesitábamos para un concierto o una proyección. Aunque él era un hombre tranquilo, pude ver el brillo en sus ojos cuando vio el amor de sus fans. Lo llamé oso gentil. Hizo su impacto en el Rock and Roll y el Country. Primer bajista de sesión llamado en dos ciudades; Los Ángeles y Nashville. Mi frase favorita de Joe. Se le preguntó por qué mantuvo las mismas cuerdas en su bajo durante 17 años. Su respuesta, ‘ Nadie me dijo que debía cambiarlos.’Realmente estará perdido pero no olvidado.»