中山古称香山，宋代乐史所撰的中国古代地理总志丛刊《太平寰宇记》记载“香山，在县南，隔海三百里，地多神仙花卉，故曰香山。”在1152年（南宋绍兴二十二年），香山县正式立县，至今也已有860多年。宋代以前，五桂山还属半岛，土壤为酸性土，雨量丰沛，气候适宜，当时岛上生长着茂盛的土沉香，专门有人进行沉香生产，形成从事沉香种植、养护和采收的人，称为“香农”。宋代《本草衍义》记载“沉香木，岭南诸郡悉有之，旁海诸州尤多。交干连枝，冈岭相接，千里不绝。”中山正属于“岭南诸郡，旁海诸州”的中心位置，古香山区域下五桂山、凤凰山、黄杨山、澳门的自然生态林，至今还有土沉香的踪迹。“女儿香木出黄角乡蕉门山雷涧庙后凡数十株乡人取以供神足一岁之用或采卖树必枯”——《香山县志》道光志卷二这样记载香山沉香树的景况。其中，女儿香是沉香里的极品。

　　沉香是瑞香科沉香属植物树体受伤后分泌出来的油脂成分和本质成分的固态凝聚物。土沉香是我国生产的名贵芳香类药材沉香的主要资源植物，也是国产沉香的正品来源。土沉香所形成的沉香为《中国药典》所收载，具有行气止痛、温中止呕、纳气平喘等功效，是国内紧缺的中药材。

　　五桂山当地香农从天然土沉香树体受伤后结沉香的原理得到启发，人为地用刀砍、锯损、钻洞、刀凿（开香门）、火烧皮等，让树伤口处分泌出含有愈伤组织细胞代谢成份的树脂（油脂），在大自然的催化下，慢慢聚结成倍丰萜芳香族化合物和色酮类化合物。香农为了促使伤口快结香、多结香，以传统的促结香方法用含真菌的泥土涂抹伤口，因此有“土沉香”之说。由此可见，土沉香的叫法是香农对白木香树进行人工结香的证明。

　　在唐代，沉香已列为每年必须向朝廷进贡的贡品，至宋代以后，达官贵人特别是朝廷的需求量日益增多，加大了对沉香的征收，导致土沉香的过度采伐，加之盗贼猖狂盗采，最终导致香农无以为计而毁林。由于沉香以老为贵，不是朝夕之间能栽种有收成的，一旦荒废，无人补种的话，数量日少。自清代以来，野生土沉香资源逐渐枯竭，特别是20世纪90年代以来，由于人们对沉香需求的迅猛上升等原因，导致野生土沉香资源几乎被破坏殆尽。1998年土沉香被列入《濒危野生动植物种国际公约》（CTTES）,1999年被列为国家二级保护植物，2000年被列入《世界自然保护联盟受威胁植物红色名录》。土沉香的生产与传统制作工艺的传承处于濒危状态。