Al Pacino nació en East Harlem, Manhattan, Nueva York, en 1940, hijo de Rose Gerardi y Salvatore Pacino, ítalo-estadounidenses, que se divorciaron cuando él tenía dos años de edad. Tras la separación, su madre se mudó a South Bronx, cerca del Zoológico del Bronx, a vivir con sus padres, Kate y James Gerardi, originarios de Corleone, Provincia de Palermo, Sicilia. Su padre se mudó a Covina, California, trabajó como vendedor de seguros y abrió un restaurante, llamado Pacino's Lounge (cerró en 1992). Pacino asistió a la secundaria Fiorello H. LaGuardia High Schoolen Nueva York. Durante su adolescencia "Sonny", como lo llamaban los amigos, aspiraba a ser jugador de beisból, aunque también era apodado "El actor". Pacino suspendió casi todas las materias excepto inglés y abandonó la secundaria con 17 años. Su madre no estuvo de acuerdo con esa decisión; discutieron y abandonó la casa. Trabajó en varios empleos pobremente remunerados, como mensajero, ayudante de camarero, portero y empleado en una oficina postal, para financiar su formación actoral.
Empezó a fumar a los 9 años de edad, y a tomar alcohol y fumar marihuana a los 13, pero nunca consumió drogas duras. Sus dos amigos más cercanos fallecieron a causa del abuso de sustancias a las edades de 19 y 30. Creciendo en una zona pobre, ocasionalmente se metía en peleasy era un alborotador en la escuela.