西汉末年，王莽撵刘秀曾追到嵖岈山，刘秀借嵖岈山脱逃。隋末，农民起义领袖窦建德与秦王李世民决战，因寡不敌众，兵败战死在嵖岈山中。李世民坐上皇帝后，对其获胜奠基处嵖岈山钟爱有加，常带部将秦琼，敬德到嵖岈山游山玩水。唐朝玄奘早期在嵖岈山一带颂经修行，他的大弟子道全、三弟子道一就是嵖岈山人。
吴承恩为避祸远行，途经嵖岈山，从嵖岈山石猴、睡唐僧、醉八戒、白龙马、定海神针、老君花园、黑风洞、高老庄、流沙河等景观中得到创作灵感，创作了巨著《西游记》。