Андрей Дмитриевич Панов родился 2 октября 1904 года в деревне Грязенять Рославльского уезда Смоленской области (ныне Рославльский район Смоленской области) в многодетной крестьянской семье. В городе Рославле он познакомился с сыном помещика Качурина и тот заявил, что не будет учиться в гимназии без Андрея Панова. Благодаря этому и А. Д. Панов окончил дворянскую гимназию (позднее она называлась школа 1 ступени). Многие его родственники работали на шахтах Донбасcа и под впечатлением их рассказов он поехал учиться в Ленинградский горный институт. Учился в нем он с 1922 пода по 1929 - за учебу в университете надо было тогда платить и на его содержании учились два его брата - Иван в институте путей сообщения и Василий в медицинском институте.
После окончания института работал на шахте в Донбассе и во Всесоюзном научно-исследовательском угольном институте (ВУГИ), Харьков. За написание книги "Циклическая работа угольных шахт" (а Сталин уделял большое внимание планированию и цикличной работе промышленности) был переведен в аппарат Наркомугля. Выдающиеся способности и талант А. Д. Панова как выдающегося ученого и организатора производства пригодились в годы Великой Отечественной войны, когда после временной оккупации и разрушения Подмосковного угольного бассейна и захвата фашистами Донбасса в стране разразился топливный голод - не хватало угля для производства металла для танков, артиллерии и снарядов и работы железнодорожного транспорта.
С 1942 по 1945 год — Заместитель Члена Государственного Комитета Обороны СССР Н. А. Вознесенского по топливу, а когда И. В. Сталин поручил Л. П. Берии контроль над угольной промышленностью, с 1942 по 1945 год — Заместитель Члена Государственного Комитета Обороны Л. П. Берии по угольной промышленности. А. Д. Панов организовал подготовку свыше 400 постановлений и решений ГКО по всему спектру работы Наркомата угольной промышленности.