Джеймс Дикки родился в штате Джорджия. В 1942 году поступил в Сельскохозяйственный колледж Южной Каролины. Во время второй мировой войны ушел из колледжа на фронт, служил в морской авиации, как оператор радара в ночной истребительной эскадрилье.