1855年，终于可以回德岛藩的家茂，仅带着新任德岛藩校教练千叶定吉，乘船返回洲本城。
船在海上航行时，稻田家遭到一伙洋人袭击，除了居住在本丸的有美外，主要成员悉数死亡。
由于有美年幼，蜂须贺家的五千余名家臣团，有了一位共同的主人—蜂须贺家茂。
掌握实权后，家茂一方面向幕府控诉洋人的恶行，一方面在领内推广北辰一刀流剑道。
1856年，回到江户后，尽管家茂收到了佐那子私下会见并接济龙马的报告，但他毫无过激反应。
只是每日伴着佐那子游山玩水，修行剑道。
这年年末，家茂的第一个儿子降生，可能是因为母体强健的缘故，婴儿不仅是顺产还毫无先天残疾。
在佐那子怀孕期间，家茂偶然观看了大江戸纸牌竞赛。最终胜出的小恋是一名，连姓都没有的梅干店老板家的少女。家茂欣赏她百合般纯洁的气质，赛后安排人以侧室的名义将她接到自己府里。除了每晚留宿在她那外，家茂有时也会陪她玩玩百人一首之类的游戏。
1857年，这次就藩，佐那子和婴儿仍然留在江户，定吉在将藩道场交给侄子后，返回江户照顾佐那子母子。
一直想过平淡生活的小恋，不愿离开江户、离开母亲，可毕竟只是底层商人家的孩子，家茂干脆带着她和她母亲，一起回到了洲本城。这次回到领地的家茂，急迫的提出了发展手工业和商业的藩政改革。
家茂按照梦里的见闻，制作的新奇事物引来了国内外的商人。商业为家茂带来了巨额财富，洋人许诺会给他带来了工业设备，德岛藩的领地一副欣欣向荣的景象。
为了防止没有自己掌舵后，压力山大的革新夭折，家茂从老中阿部正弘那，要来了伏见奉行的职位。阿部正弘本人在帮了家茂这个忙后，不久就暴毙了。
小恋的到来刺激了处于青春期的有美，加上家茂忙于藩务成天不在本丸。完全没注意到有美已经长大了家茂哪怕是回本丸休息，也是留宿在小恋，或者夏希的房间。背后站着两千多家臣的有美，开始整肃藩主家的后院了。
1858年，在伏见与德岛藩各领间奔波劳碌的家茂，终于拥有了自己的钢厂和手工武器火器作坊。同年，安政大狱兴起，不过由于家茂一直亲善大老井伊直弼，所以没有受到牵连。
1859年，资金不足的家茂，一头心思钻研民用工业、改良藩士结构。
1860年，井伊直弼死于樱田门事变，新上任的庆喜主张团结外样大名，所以也不好惩罚当时最大的外样家茂童鞋；这一年，家茂得到了孝明天皇的接见。第一门本土生产的先进步兵炮，成功完成试射。这是一门仿制美国m1841式十二磅榴弹炮，制作的铁管炮。孝明天皇亲自将其命名为安政炮。
1861年，幕府取得法国贷款600万美元以招募法国军官、购买兵器及船只，并组成日法的公司发展工商贸易。
同年，亲美的家茂，趁着美国内战爆发，同南北两个政府分别签订了合同，由美方出船运输，家茂为内战中的南派提供火炮、前装步枪和包括炮管在内的金属配件，为北派提供子弹和代加工服务，这位德岛藩换来了大量原材料和先进技术及设备。
1862年，庆喜发起波及全国的幕政改革，家茂的兵工生产线出产了本土的后装膛线枪——文久2式步枪；有美生下嫡子兴业丸，蜂须贺家两派藩士有了真正的共主，家茂趁机派人去雇佣了普鲁士教官，为自己训练后装枪新军。同年，土佐勤王党带来的骚动波及阿波地区，由保守的中年藩士组成的忠勇队，接管了阿波地区的治安工作。
1863年六月，幕府被迫宣布“攘夷”，随之发生了美、法军舰进攻下关，英国舰队进攻萨摩藩的事件。
1863年7月1日两军在葛底斯堡展开决战，7月3日南军被击败。南军损失2.8万人，成为内战的转折点，战场上的主动权转到北方军队手中。拥有一支上千人新军的家茂，成了国内举足轻重的一方势力，并且始终未在公武合体和尊王攘夷间表态。
拥有自保实力后，家茂亲自回到江户带佐那子回家。搬家过程中，佐那子意外生病，让家茂知道了江户城里，有一位医术高超的女医生。橘咲医生在上门看诊完后，便被强行留在了德岛藩别府。家里只有个旗本哥哥的橘咲，仍大胆的拒绝家茂，由于佐那子的庇护，这场一时兴起的喜事成了僵持三天的闹剧。第四天，在橘咲母亲的劝说下，家茂在许出一个侧室名分后，当晚便偷潜入橘咲的房中强行得偿所愿。这次听到呼喊声的佐那子，没有再出面为她解围。
1863年8月24日，幕府为了追究长州兵在”禁门之变“中进攻京都皇宫的责任，取得讨伐长州藩的敕令，便通知各藩出兵。家茂以保护天皇为借口拒绝出兵，但派出了数位家臣向参战的六个藩兜售老旧冷兵器和半旧步枪。
1863年12月9日，长州藩保守派将三名攘夷派家老切腹，第一次征长战役就这样结束了。此战中各藩苦于财政困难，对幕府恢复参觐交代制怀抱反感，庆喜的威望受到较大打击。几名有影响力的公卿也因