众人听了，仔细想想，觉得无忧寨三字再合适不过了，纷纷称赞。都说高家小娘子起的名字好。
周南道：“既然大伙都觉得无忧寨这个名字好，那便定了。明日我等就召集全寨的人，一起到寨中山神庙前集议，待商议通过了，我们就及早动工。”众人便都散了，回去告知友好邻居。
寨中几位德高望重的人都出面赞成，又有高远等一帮年轻人起哄，更兼有前几日被山贼劫掠的惨痛血泪史，寨里的人对周南提的这些建议都表示赞同，出乎周南意料，山民们尤其支持公田的事，在古代，人老了，病了，就拉出去喂狼，那可不是谣传，是真有。自己老了，也能有个依靠不是？这些淳朴善良的山里人，对周南这些用意本善的提议马上就接纳了，几乎是没人反对，建寨的事情很快就定了下来。
既然定了，又没人提出意见，便还是以头天在高远家的这几个人为骨干，依旧召集到了高远家。在屋内，周南便拿出了自己的建寨图，依照高家寨西北高、东南低的地势，和西北面、北面、东面是悬崖，西南面、南面是缓坡的山形，决定在南面修建寨墙，寨墙上开正寨门一座，在东南角修筑寨墙，在寨墙上开小寨门一座。南面寨墙和东南角寨墙之间那座不甚高、却很陡峭难攀的小山峰，正好将两端寨墙联结起来，在小山峰上设置了投掷檑木、射箭的防御点，更是让两段寨墙固若金汤。并且在图上面还详尽的划出了建寨墙、箭楼的位置，并且标明了寨墙、马面墙和箭楼规制，由老郑头、刘宗旺、张义、高远等人看后，又补充了一些想法，便正式动工了。
在人员分配和安排上，由高远、周南二人带领护家社一百一十五人，由老郑头、刘宗旺、张义、高秉常四人组织各家剩余劳力，一起就近开山凿石，在标画出来的位置，用“干打垒”的方法，筑起寨墙。
高芸执意也要求参加修建寨墙的事，任高远如何劝说都没用，无奈之下，周南想出一个折中的办法，要高芸组织寨子里的女子，听从高远、老郑头等人安排，做些轻巧活计，还要每天做一顿饭，供干活的人吃。这个提议高芸倒很乐意。
一切安排就绪，便从高家寨东南角的天井口处开始修建。这里地势狭窄，很快就能完工，所以选择了在这里开始，也是想检验一下修筑的进度和效果，以便在日后修建南面更长的寨墙时，有所提高。
天井口，宽约五丈，是一处类似于卧虎山钻虎口的路径。天井口正对着山贼的东南放心，在天井口的西面便是那座孤立小山峰，在天井口东面便是一处险坡，险坡再向东就是悬崖了。在天井口狭窄处，依山势修建了一条高三丈，宽五丈的石头寨墙，寨墙上每隔五尺便建有箭垛，可以在箭垛后射箭藏身，并在寨墙的中间修建了两座箭楼，箭楼坐落在寨墙上，木头搭成，高三丈，三层，每层都有箭孔，可以放箭阻杀来敌，两座箭楼中间是一处小的寨门。寨门宽有六尺，用石块砌成拱形，门是用厚厚的木板制成。寨门外便是天井口陡立的石阶，天井口本就狭窄，现在又建起了寨墙，寨墙外面皆是陡立石阶，有二十人便可将寨门牢牢守住。
寨子里本就有石匠，在天井口这里就近凿取山石，把一块块石块依型就势，层层叠叠垒在一起，青壮劳力都跟着石匠开采石头，搬运石块，上些岁数的就在寨墙处，几个人合力，一块块垒砌，寨中女子力壮的也跟着搬抬石头，力气弱的就做些杂务，烧些热水，到申时做饭，给做工的人吃。做饭的米粮便由俘获的那些山贼米粮来做。库房暂时让周兴来管着，反正他也做不了重活，记账管库倒适合他。
只修筑天井口，人都挤在那里，反倒是浪费，周南便建议分出一半的人，去修筑西北角那个缺口，就是高远他们奔赴卧虎山时所用的那段山坳。那里是西、北两个方向唯一能进出山寨的所在，其余都是更高更陡的悬崖峭壁，虽然极少有人会从那里进入山寨，可是卧虎山山贼的前车之鉴，不得不防啊。在山坳处，沿悬崖边，高远他们也修建了一段长约十丈、高两丈、宽一丈的寨墙，将那段可以攀绳而上的悬崖彻底堵死，在寨墙内侧只修盖了一所哨亭，可以临时住人，以便及时报警，发现来敌。
周南还让左小四在寨墙外拉上几道绳索，绳索上又用绳索连接哨亭内悬挂的铜铃，若有人用带着飞爪的绳索抛上，铜铃便会振动响起，惊醒值守的人。
天井口和西北角悬崖缺口只用了不到半个月，就修建好了。说不上雄伟壮观，但是从寨墙外侧看，三丈高、陡立难攀的石头寨墙，再加上寨墙上的守卫，真说得上是易守难攻。
最难修建的便是寨子南面，那里山势平缓，没有可以依仗的地形便利，无法以险代兵，只有一道从西山上汇集而出的一条河流。高远和老郑头他们把所有人都集中到了这里，把人按段分派好，每段有人指挥，不致人员混乱。既然无险可守，高远他们只能用人力，在河流北侧老老实实修筑了一道长约一百五十丈、高约三丈的石寨墙，这里地势开阔，修筑的寨墙，高远他们丝毫不敢有一丝偷工减料，反而是每隔二十丈，便修筑一处马面墙，同时马面墙的上面修筑一座高约两丈的箭楼，每隔五尺便修一箭垛。在寨墙中间位置，修了一道宽约两丈、高约一尺的寨门，作为高家寨的正门。平时让寨中百姓从南门