大小洞天乃福泽之地，历史上许多道人在此修道成仙。为了争夺这块风水宝地，南宗五祖甚至不惜舍掉一条手臂。
相传，南宗五祖白玉蟾受仙人指点，来到鳌山择地修仙。他来到海边，发现了一块背山面海的洞天福地。这里树茂林翠，海阔天碧。旁边在林泉清凉，脚下有鱼蟹游动。奇花异草芳香，五彩蝴蝶飞翔。眼前一块巨大的石头下，正好有一深洞，可以为室。
五祖心中喜悦，决定在此安居。他正要躬身进洞，不料耳旁一声大呵：
“何人如此放肆，敢进我的洞府”？
五祖抬身一看，原来是个黎族妇女，长发披肩，怒目而视。
那妇女又道：“我居住在此已经数百年了，你不知道男女授受不亲的训教吗？请你赶快离开这里。”
白玉蟾自知无理，但他心有不甘，实在舍不得放弃这么理想的风水宝地。于是强词夺理地反问：
“你说这是你的地方，有何凭证？”
黎族妇女指着洞内说：“我的所有家什都在这里，这是我的栖身之所，我一直都住在这里，你还要什么凭据。”
白玉蟾无话可说，索兴耍起无赖。他强行走进洞中，一屁股坐在地上，哈哈大笑着说：“这也是我的住所，你看我现在不是坐在这里吗？”
那妇女怒火万丈，却又束手无策。只得上前拽住他的一只胳膊，狠命地往外拉。拉呀拉呀，白玉蟾纹丝不动，就是赖在地上不起。黎族妇女猛地一发神功，只听“咔嚓”一声，南宗五祖的一条胳膊被生生地扯断了。谁料五祖毫不在意，连眼皮都不眨一下，仍然哈哈大笑。
妇女无奈，只好自己离开了居住数百年的洞府，另择他地。后来，她也修道成仙，人称“黎母仙姑”。
白玉蟾赖下的洞府，就是现在我们看到的小洞天。他在此日夜修炼，终成仙果。后来的道人们也都慕名而来，在此炼丹修道，羽化成仙。
据说，当地百姓听说五祖成仙后，纷纷来此求他消灾解难。每逢大灾之年，只要百姓去求他，他就能保佑百姓风调雨顺，鱼肥人安。百姓为了感念他，就在山岭上雕刻了他的神像。但神像一雕成，一只胳膊就断了下来，没法子，只好给他安了只活动手臂。
更为神奇的是，谁家若想要求子嗣，只要把五祖的活动手臂取下来抱回家安放几天，老婆就怀孕了，且生下的孩子特别调皮聪明。