Эндрю Ди Диа родился в 1917 году в Детройте в семье итальянских эмигрантов. Его отец работал в Cadillac Motor Co. О детстве Эндрю мало что известно, есть данные, что в 30-х он также работал в какой-то автомобильной компании инспектором по браку, а в 40-х был водителем автобуса, но в 1947 сбил пешехода и потерял возможность работать за рулем. В 1950-х он работал дизайнером одежды.