早在明清时代，西安小东门城墙根底下就形成了远近闻名的古玩、旧货交易市场，距今已有数百年的历史，俗称“鬼市”。老西安人一提到西安的“鬼市”大多还记忆犹新。为什么叫“鬼市”？顾名思义不是正大光明的市场，只有偷偷摸摸地做事，神不知鬼不觉地做“生意”，由于多是见不得人的生意，人们才称其为“鬼市”。
辛亥革命之后，前清的遗老遗少及一些家道败落的纨绔子弟，常于黎明之际在钟楼至西华门什字的“满城”残垣上变卖家什、衣物、字画和珠宝，以维持生计。卖者既不稔行情又怕失体面，买者则图早得手赚大钱，双方打着灯笼在昏暗中匆匆交易，鬼里鬼祟。人们戏称“鬼集”。20年代初，北大街渐趋繁荣，原“满城”残垣之上建起了座座店铺，“鬼集”自发转移到尚仁路以东的空旷地区。民国15年（1926年），镇嵩军围困西安，城内粮食奇缺，人们纷纷贱价出卖衣物换取食品果腹。“鬼集”的规模越来越大，上市物品越来越多，交易时间也越来越长，群众便逐渐地以“鬼市”之称取而代之。
“鬼市”位于东门里向北一拐的巷子里，每天这里熙熙攘攘人头颤动，开市的时间据说是凌晨和夜晚，这个时间段没有什么戴大檐帽的人来检查，更没有工商税务的人上门找事，做生意可以平平安安。
“鬼市”说是市场，其实就是街摊地铺，各种商品随意摆放在地下，任你挑选和选购。这里货物齐全样品丰富，小到五金螺丝钉，大到家用电器，更多的还是衣服被褥，总之日常生活用品这里是应有尽有。“鬼市”之所以闻名，就是因为这里的商品丰富，关键是便宜，有些物品便宜的你都不敢想象。为什么便宜，这里面就有猫腻了，据说此地的商品大多来路不正，其中不乏是偷来的东西，正应为是偷来的东西，小偷急于出手换钱，所以好好的东西甚至和市场上一模一样的东西，硬是比市场上便宜许多。一些贪图便宜的人和一些临时来西安居住的人往往到这里来购买生活用品。
“鬼市”发展的很快，从不起眼的一条小巷渐渐向北和西发展，渐渐有了门面铺子，渐渐有了柜台，渐渐地人们明目张胆地干了起来。大一点的铺子有几十平方米，雇着伙计服务员来吆喝叫卖。“鬼市”的开市时间是有限的，要在有限的时间内争取最大的利益，人们开始疯狂了，不管你的东西从何而来，只要便宜我就收购，有的东西明眼一看就是来路不正，人们也顾不得这些了，只要有人要有人买，哪管它来路正与不正。
人们发现了这里面的奥秘，开始在人们中间流传“鬼市”的说法，到“鬼市”去买东西的人渐渐多了起来，也难怪呀！好端端的东西就是沾着“便宜”二字。“鬼市”慢慢有了名声，“鬼市”慢慢有了名气，“鬼市”慢慢成了一条繁荣的小市场。一些人还不无自豪地谈论着在“鬼市”上买到的便宜货和在“鬼市”上的所见所闻。
“鬼市”的存在还是西安八、九十年代的事情，如今“鬼市”早已消声灭迹，随着西安市的大规模拆迁，以前在这里的“鬼市”早已旧貌换新颜。“鬼市”也在无声无息中灭亡。如今走在这条巷子里，仿佛还能听到高声叫卖的吆喝声，仿佛还能看到不是正常生意人的那种心怀鬼胎的眼神。“鬼市”是存在了一段时间，“鬼市”也给小偷小摸的人提供了销赃的场所。“鬼市”永远市西安人心目中一块抹不去的记忆。