Hijo de los Sres. Winton Dean y Mildred Winslow, James Byron nació en la ciudad de Marion, en el estado de Indiana el día domingo 8 de febrero de 1931, siendo muy pequeño su familia se trasladó a California, estudiando en «The Brentwood Grade School» hasta la edad de 9 años, toda vez que su madre falleció en 1940 y el fatal suceso obligó a su padre a enviarlo de regreso a Indiana, donde vivió en la granga de su tía Ortense Winslow, durante su infancia y juventud, hasta terminar sus estudios de preparatoria en «Fairmonth High School», donde practicaba el atletismo en general, además de haberse coronado campeón con el equipo estatal de basquetbol.
En el año 1949 acudió a Perú Indiana para participar y ganar el concurso estatal de oratoria, siendo motivado por su maestra Adeline Nail para dedicarse al teatro, algo que le complació enormemente pues bien sabido era por todos su gran atracción por la actuación.
Poco tiempo después se trasladó a la casa de su Sr. padre, a efecto de continuar sus estudios en la Universidad de Los Angeles y aún cuando éste no veía con buenos ojos las cualidades histriónicas de su hijo, James continuó estudiando y participando en cuanta oportunidad se le presentaba, aunque para llevarlo a cabo debió trasladarse hasta Nueva York en donde a base de privaciones y esfuerzos, finalmente logró la oportunidad de hacer algunas obras de teatro, llevándolo el tiempo a hacerlo también frente a las cámaras de la pantalla chica, hasta que finalmente fue recomendado con el director Elia Kazan, el mismo que años antes había descubierto la figura Marlon Brando y ahora se proponía presentar otro nuevo actor joven en la cinta «Al este del paraíso», la noticia de haber conseguido tan importante oportunidad, lo llenó de júbilo, regresando de inmediato a Los Angeles para realizar su sueño, su primer papel protagónico en los estudios de Hollywood, además de que trabajar bajo la dirección de Kazan era garantía de éxito y consagración, cosas que el actor obtuvo en forma instantánea, además claro, de un contrato para realizar dos películas para la Warner Brothers en el siguiente año.