Vinje ble en del av Frelsesarmeen da han var 14 år gammel. Eivind kom til Stavanger i 1940, hvor han ble værende resten av livet. 

Vinje hadde sitt daglige virke på Stavanger Cementvarefabrikk. Men han blir husket best som Frelsesarmesoldat og musikkmester i hornorkesteret .Eivind hadde ansvaret for korpset i over 40 år, frem til 1986. Etter dette fikk han tittelen æremusikkmester og fant plassen i tubarekken. Uansett hvor store forandringene ble, hadde Eivind et positivt og åpent sinn.