三清山的兴衰沉浮，始终与道教的兴衰有密切的关系。三清山道教文化开始于晋代葛洪，葛洪在三清山拥有特殊地位。据史书记载，东晋升平年间（357—361），炼丹术士、著名医学家葛洪与李尚书上三清山结庐炼丹，著书立说，宣扬道教教义，鼓吹“人能成仙”，至今山上还留有葛洪所掘的丹井和炼丹炉的遗迹。尤其是那口丹井，历时一千余载，依然终年不涸，其水汪洌味甘，被后人称之为“仙井”。于是葛洪便成了三清山的“开山始祖”，三清山道教的第一位传播者。
时至唐朝，道教被朝廷奉为国教，士穿行往返于大江南北，三清山的道教也随之兴盛起来，香火不断，朝山香客络绎不绝。唐（周）圣元年（639），朝廷为了加强统治，割衢州须江（今称为江山市）之南乡、常山之西乡和饶州弋阳之东乡，设玉山县，遂将三清山划为玉山县所辖。其后，方士将化缘所得，在葛洪结庐炼丹之处营建了三清山上第一座道教建筑——老子宫观（此观被称为“三清福地”），进一步巩固了三清山在道教史上的重要地位。北宋宁真宗笃信道教，奉老子为太上老君混元上德皇帝。此时，在三清山一带开始出现成批的道教建筑。方士们为了纪念葛洪开山之功，在山上建起了葛仙观，内中供奉葛仙翁和李尚书石像；同时建起的还有福庆观、灵济庙。尤其值得一提的是，方士们在天门峰的悬崖之上，用天然花岗岩雕干砌成一座六层五面的风雷塔，此塔历尽千年风雨，至今巍然不动，被誉为三清山上道教建筑中的一颗灿烂明珠。
元时，朝廷把道教当作控制汉民族的思想武器，道教进一步受到重视。此时三清观内出现了信奉全真派的方士，他们专门从事道教活动，多时达几十个人；更多的方士则信奉正一派，他们受道教经典戒规约束，谙熟各种醮祷仪式，在民间从事道教活动：一为从事阴事，超度亡灵，如做功德、关殓等；一为从事阳事，如打醮等。据元人鲁起元在《游三清山记》中说，此时三清山正在大动土木，扩建三清观。观内供奉石刻石仙君、葛仙翁、李尚书、金童、玉女、潘元帅神像；山上景物、地点也以道教称谓命名，如仙人桥、雷公石、判官石等等。由此可见当时三清山上兴盛一斑明太祖朱元璋特别推崇道教，张天师为全国教主，贵溪龙虎山遂成为全国道教活动中心。
三清山距龙虎山仅300里，近在咫尺，传教、化缘的方士来往频繁，联系也极为密切，三清山的教务活动几乎直接在张天师控制之下进行的，此时山上朝拜之风极兴盛，散居于赣、浙、皖、闽的方士和信徒，每年的九月份，都要组织香会“一年朝三清，一年朝少华”。他们结队而行，以三清神像和旌旗开道，点燃香烛，抬着猪牛羊各种祭品，并鸣三眼铳助威，配以鼓乐，吹吹打打，浩浩荡荡向三清山进发，每日多则上万人，少则几千人。明朝为三清山道教活动的鼎盛时期。山上的道教建筑也如雨后春笋般大量出现。至景泰年间，山上已经建起龙虎殿、方士羽化坛、玉零观、纠察府、演教殿、九天应元府、潘公殿、方壕上、天门石坊、飞仙台、流霞桥、石阶“众妙千步门”、“冲虚百步门”等建筑，并重建三清观，改建三清宫。明代的宫宇建筑十分独特：前后两进，座北朝南，以山上花岗岩雕凿干砌而成，石梁石柱，四周配以石墙，内供玉清，上清、太清三尊石雕石刻神像130尊，摩崖题刻45处。