Spader nació en Boston (Massachusetts), fíu del matrimoniu ente James Todd Spader y Jean Spader, dambos maestros d'escuela. Mientres la so educación primaria, asistió a The Pike School (onde la so madre enseñó-y arte) y matriculóse na Brooks School (onde'l so padre enseñaba) pa un añu en North Andover, Massachusetts. Spader treslladóse más tarde a la Phillips Academy. Cuando taba a puntu d'empezar la universidá James abandonó nel novenu grau pa colase a Nueva York y estudiar interpretación nel Michael Chekhov Studio. Antes de convertise nun actor a tiempu completu, Spader ocupó una variedá de puestos de trabayu incluyendo instructor de yoga, ayudante de camareru, xofer de camión, mozu de corte, y cargador de coche de ferrocarril.