日照澄洲江雾开，
淘金女伴满江隈。
美人首饰侯王印，
尽是沙中浪底来。
——唐.刘禹锡
一首《浪淘沙》道出了淘金不易，而沉香的采集则比之更为艰辛。在悠久的沉香使用过程中，少不了的是那些将沉香带到世人面前的采香人，也被称为香农，他们穿梭于深山野林之中，凭借过人的胆识和丰富的经验将沉香采集起来，才有了今天我们对沉香的深厚认识。
沉香生长在深山丛翳之中，那里地形复杂，环境险峻，遍布着蛇蟒虫蚁等危险的生物，单人独行必有危险，因此，采香人往往十几或数十人结伴而行，一去就是十天半月的时间。然而沉香状如朽木，在枯木遍地的山林之中并不容易被发现，空手而归也是常有之事。长此以往，人们便总结出经验：采香当在秋高清爽的时节前往。环顾山林四周，当周围的大小树木都有凋零的情况，那么其中必有沉香，在夜半之时空气清新，香气飘溢出来味道最为清晰，再看树底有虫蚁洞穴高堆的封土，将之挖开，必能发现沉香。
古人云“古山独木有奇楠”，意思是奇楠的气场强，真菌多，与其他植物相比，吸引养分的能力比较强，所以上好的沉香树往往是傲然独立的。 明代有名的旅行家徐霞客在广西旅行时就有幸亲眼一见。当时，徐霞客行船经过一个名为“沉香崖”的地方。在高叠的崖缝处看到一弯一直两株木色黝黑，形如枯木之物，枝杈横生，堪为异境。当地人说那就是沉香，县令欲采集这些沉香，派人用绳索拴在崖顶，然后人顺绳而下采集，忽然雷雨大作，雨雾迷蒙，遮挡了视线，县令惧为天意，于是这才打消了念头。
住在海南的黎族人之中，很多都是世代相传的采香人，那些采香人的经验也由祖辈一代一代的传了下来，他们用采来的沉香换取生活用品，以当时的物价，一旦沉香能够换取一头耕地的水牛，足见沉香之贵，也表明了采香的不易。
越是好沉香越深隐于山中，人迹罕至，遇到虎豹、蛇虺等由此丧命，亦是避免不了的事情。好香的树木必百年而始结，又百年而始成，虽天地不爱其宝，而取之无尽，亦生之易穷。香之难得有由然也。诗曰：“百岁深岩老树根，敲根谛听水沉存。"
