Seu irmão o introduziu na música soul no fim dos anos 1950. “Lembro-me da primeira vez que ele me tocou Yes Indeed, de Ray Charles. Foi como se alguém tivesse mudado o mundo. Acendeu uma luz”, comenta ainda ele.
Taylor, ainda adolescente, desenvolveu seus talentos em bandas como Flying Machine, com a futura grande figura da guitarra Danny Kortchmar, mas todas as suas primeiras aventuras musicais implodiram. A ruptura da sua última banda, nos anos 1970, foi mencionada em uma das suas músicas mais famosas, Fire and Rain. “Doces sonhos e máquinas voadoras em pedaços no chão”, diz a letra.
Com a carreira praticamente sem futuro, James Taylor decidiu ir para a Inglaterra, mesmo sem ter alguma perspectiva realista de conseguir contratos ou gravação. Mas sua fita de demonstração chegou às mãos de Peter Asher, caçador de talentos da marca Apple dos Beatles e ele acabou se tornando seu empresário e maior defensor.