侄儿玉绳城主北条为昌死后，其军团的三浦众一部被置于幻庵指挥下，于翌年开始使用「静意」为印鉴，在后来天文二十年(1551)面对长尾景虎越过信州鸟居岬南下协助上杉宪政时，亲自率兵于平井城出阵，但因为城中兴起疫病，于是果断地带同所有城兵在越后军来到前撤出，退至左近的松山城。虽然这一着令平井城重回上杉氏之手，却也为北条家多保留了一分力量，而未盲目应战损伤兵力。之后幻庵在久野附近构筑居城，并与当时的文化人连歌师宗牧等人交往，得到了「关东第一文人」的美誉，在永禄五年(1562)时幻庵改成与父亲本名宗瑞同宗的临济宗大德寺系法名，易名「宗哲」，同年十二月亲将撰讲述出嫁妇女应遵守的礼仪等事项的「北条幻庵觉书」一册赠给氏康之女鹤松院。
因为长子三郎（纲重）与次男氏信在对抗武田家时于蒲原城相继战死、三男长顺又先己病故而绝嗣，所以提出希望将氏康之子三郎氏秀收为养子为继，但因为氏秀在翌年被送往越后给上杉谦信当养子，最后才决定由幻庵次男北条氏信之子北条氏隆继承家业。
历侍北条家氏纲、氏康、氏政、氏直四代被称誉为「黑衣宰相」的问政长老北条幻庵辞世于久野城，享寿九十七岁，法名金龙院殿明岑宗哲大居士。
后北条五代的百年江山中幻庵一人便活过了其中的九十六年，可说是十分罕见的高龄。但他的生殁年却长期有各种相异的说法，尽管「北条五代记」已算是研究北条家的重要史料，如果他死去时是天正十七年（1589），逆算回去的话是却是明应二年（1493），可是根据其它与幻庵有关的史料来看，他应该是在永正年间初叶的1504～1510年出生才对。除此之外，依照黒田基树教授所书的『小田原市史』之研究看来，幻庵也并非故于那可以让人无限联想的天正十七年，由其嫡孙氏隆的文书来看幻庵最晚故于天正十三年，而且在幻庵改名宗哲后至天正十一年以降便完全无其活动资料，这些迹象均再再使人对幻庵的生卒年生出疑窦。
;