Nascido em Kansas City, Kansas, em 1933, o pai de Dwight, Ed Dwight, sr., Jogou a segunda base para os monarcas de Kansas City da Liga Negra. Sua mãe, Georgia Baker Dwight, incentivou o garoto desde tenra idade, e Ed Jr. tornou-se um leitor ávido, capaz de trabalhar bem com as mãos – incluindo a criação de arte, uma paixão à qual retornaria mais tarde.