平山寺始建于629年（唐贞观三年）。当时，唐太宗李世民敕命在各战场建寺，“以纪功业”，“祭奠亡灵”，因此而建徐州平山寺及功德塔，并钦敕寺额。当时名为“四面佛寺”，1343年（元至正三年）改建并命名为“平山寺”。

　　平山寺是一个十分幽静的千年古寺，在古时的徐州是一个大庙，虎山下面的双峰寺、团山上面的白云寺都是平山寺的子庙。在清朝，它是云龙山兴化禅寺的上院，比兴化禅寺有名气。原先寺庙里建筑十分宏大，经过千百年的风雨侵蚀，2005年修缮前大多已破损，但依然无法掩饰这座寺庙曾经宏伟的规模，这从寺庙的外观建筑框架便可看出。寺庙所处地理位置十分优越，从古至今，这里的香火一直繁盛。