1934年12月17日单田芳生于营口市，出身曲艺世家。外祖父王福义是闯关东进沈阳最早的竹板书老艺人；母亲王香桂是三四十年代著名的西河大鼓演员，人称“白丫头”；父亲单永魁是弦师；大伯单永生和三叔单永槐分别是西河大鼓和评书演员。
单田芳随父母奔波于哈尔滨、长春、沈阳、齐齐哈尔等城市演出。后到奉天，单田芳六岁念私塾，七八岁即学会了一些传统书目。上学后，他边读书边帮助父母抄写段子、书词，十三四岁时就已经能记住几部长篇大书。
1939年，王香桂和单永魁来到齐齐哈尔，单田芳刚满五周岁，需要人照顾。王香桂的两个学徒月梅、小梅自然充当了免费保姆。这个五岁的“大全子”（单田芳的乳名）居然是超级“淘气包”。
1953年单田芳高中毕业后，考入东北大学，但因病退学，拜李庆海为师，正式说书。其间在辽宁大学历史系（函授）学习。