潘家园的鬼市归于老京城鬼市，清晨点来钟就有人进入商场了。再谈为什么叫“鬼市”。说晚清时期，时局骚乱，国之将亡，皇帝都保不住，何况臣子们。许多清廷遗贵，式微富豪，家道败颓后无以糊囗，只能靠变卖祖先留下来的那点家产苟且维生。但是总之早年显赫时，哪里放得下架子丢得起面子所以趁着天亮前半明半暗的光线，拿了古董偷偷到街边摆摊贩卖，既躲开了熟人还做成了生意。京城是皇城，当年是官僚世家集中地，此时式微的显贵也不少，一朝一夕，沿用成市就是“鬼市”了。
又种说法是鬼市开市时间早，天还没亮，又没有电灯，乌漆抹黑的，穷户打燃火石，有钱人拎着灯笼，幽幽晃晃如磷火般粗陋的照明设备下，人影络绎停走，飘忽不定。鬼没半只，鬼气先有了。再加上许多梁上正人也到此脱手些见不得光儿的玩意儿，更有造假者趁乱兜销些赝品，两者又都是鬼头鬼脑的。前前后后总之是离不开“鬼”字，鬼市由此得名。
管潘家园的鬼市终究是哪种出处，也不管可信度有多少，各种传说都为潘家园平添了神秘感，商户们甘心传，游客们也甘心听，反正两端都高兴。潘家园鬼市更成为了京城景，在现代化都市里保持着古代的情味，这也是潘家园作为“文明商场”的一同魅力吧。”