相传，四德村是一个古老的村庄，唐朝以前就有了。村里原有一座寺院，叫“思禅寺”，建于唐代天宝七年。到了宋末元初，战乱不休，兵荒马乱中寺院被无辜焚毁。村里人们很思念那座寺院，就把村名改称“思禅村”。
有一天，村里一位游手好闲的懒婆娘急着去摸牌，一不小心，被一块石头重重绊倒在地。她爬起来，抖落身上尘土，发现自己身体丝毫无损，心里挺纳闷，回头再打量那石头，见上面镌刻有“碰福”二字。懒婆娘又好气又好笑——— 平白无故摔了个大跟斗，还叫碰福！
事后，这个女人就把发生的事情讲给村里一位上岁数的老婆婆听。老人说：“绊倒你的那块石头，是早先思禅寺里的石头，叫“碰福”石，这一定是佛祖点化你，你怎么不往下挖挖呢，说不定就有好事等你哩？”懒婆娘觉得在理儿，就找了几个人到那块石头旁挖起来。果然，就挖出一个织布的金梭。老婆婆说：“这是神仙叫你织布哩，往后日子就强了，拿去吧。”懒婆娘高高兴兴把金梭拿回家里。
从此，她就开始纺花织布，织好布就拿到集市卖，换回钱过日子，日子过得一天比一天好。村里的妇女也都跟她学，家家户户纺花织布。妇女们白天下地干活，晚上纺花织布，日子越过越红火
后来，县官私访来到村里，见这里百姓民风淳朴，家境殷实，妇女们白天下田耕种，辛勤劳作，晚上纺纱织布，不辞劳苦。接着又听了碰福的传说故事，觉得很玄妙，就说：“思禅村，不如就叫思德村好，一是感念佛祖、神仙给的德；二是赞扬村里妇女的好品德。”后来，思禅村就改叫思德村了。时间长了，人们念转了音就叫成了“四德村”。