Il avait été diagnostiqué d'un mésothéliome l'an dernier, un cancer plutôt rare qui touche la plèvre, le péricarde et la cavité abdominale.

Olsen avait été repêché au premier rang, en 1962, par les Rams de Los Angeles, dans la NFL. Il a été choisi recrue de l'année lors de sa première saison et détient toujours le record des Rams pour le plus grand nombre de plaqués, avec 915. Il a aussi participé à 14 Pro Bowls.

Olsen a ensuite connu une deuxième carrière dans les médias. Il agira ainsi pendant longtemps comme analyste de football avec Dick Enberg.

Il se fera aussi connaîre comme comédien avec sa participation régulière à la série La petite maison dans la prairie, où il interprétait le gentil géant John Garvey, avant d'obtenir sa propre série, Father Murphy. Celle-ci ne sera toutefois en ondes que de 1981 à 1983.

En décembre dernier, son ancienne université, Utah State, a annoncé qu'elle rebaptisait son terrain de football en son honneur. Les Rams lui ont aussi rendu hommage lors d'un match, le 20 décembre.