咸丰十年（1860）二月，太平军由广德泗安进犯杭州，四月十三日苏州又沦陷，二十五日吴江失守，费氏兄弟带着母亲姐姐和外甥费树萱到同里避难。看着一家人骨肉无恙，呢呢作慰，但想到吴江的故庐摧毁，生计荡然，辄又相对唏嘘。笔者曾珍藏清末乌金拓本长卷，是嘉兴名士沈景修所书《费太夫人行状》，也记录了避难的经过。
由于太平军继续南下东进，他们与黎里邱曾诒的侄子李星槎又逃到黎里邱家避难。费延釐等住邱氏铺房内，李星槎居住在邱彭寿处。黎里避难期间，友人柳松琴病故，费延釐特去探吊，期间与俞岳（费延庆的岳父）、陶芑生等往来也多。
黎里邱彭寿山水画
太平军攻占黎里镇后，北厍大港相对太平，费氏兄弟与邱彭寿东避至大港柳氏“焦桐馆”，就住在柳兆薰的堂兄弟柳子屏（柳松琴子）家里。柳子屏是黎里东郊大港人（柳松琴之子），他曾授经黎里镇周氏“红蕉馆”，与黎里冯经、张文璇为兄弟交。三试南闱弗登，更加敦行力学，所著《食古斋文诗录》，费延釐曾为之序。
《食古斋文诗录》中的柳子屏《祭费吉甫文》
费延釐撰《柳君子屏家传》
可是祸不单行，就在此时，费延釐的原配不幸身亡。同时避难在柳子屏家里的盛泽文士李龄寿写了《慰费芸舫悼亡》诗，李龄寿还作了另一首长诗《焦桐馆中作，用东坡清虚堂韵，呈焦桐主人，并示费吉甫芸舫兄弟，时同避寇大港》，诗歌中可窥见当时几位文人落魄的样子和主人公的好客之情，诗文写道：“涂泥滑雨风卷沙，尘埃有客歌彭衙。相逢不禁破涕笑，短檠昨夜灯作花。焦桐主人丈人行，握手怜我今无家。出门已是丧家犬，得食犹羡栖林鸦。二三知己偶萍合，口吐奇语纷天葩……”
李龄寿诗集中关于费氏兄弟在大港避难的诗文
同治二年（1863），柳兆薰避难到上海。费延釐则在同里叶泽湖与同舟九人遇风被溺，八人被救出，一人遇难，费延釐正好在八人之中，柳兆薰在接到费延厘的信后这样说：“大难不死，必有后福，前程正未可量也”，柳兆薰邀费氏兄弟也到沪上避难，最后费延庆赴约。
柳兆薰之父、北厍胜溪柳树芳是柳亚子的高祖。他曾请人刻了一方“有福读书”的印章砥砺自己及其后代。柳树芳一生非常用功，后因病辍学，自认为一事无成。长子柳兆青又早逝，于是着力培养次子柳兆薰。柳兆薰为了不辜负父亲柳树芳的期望，在家中藏书及其富有的基础上，又从黎里邱氏亲家搬来大量书籍，广征博采，孜孜以求。同治初年，柳兆薰曾赴南京应试，但铩羽而归，便寄希望于儿子柳应墀。柳氏富甲一方，是“有福读书”之辈，加上费延釐、柳子屏及外家（黎里邱氏）均以书礼传家，决定到黎里拜费延釐为师。
同治三年（1864）七月二十四日，柳兆薰同柳子屏带着柳应墀同舟至黎里邱家，具贽敬若干元和朝卷等，作拜师之礼，费延釐热情招待了他们。之后柳应墀的文稿费延釐均一一认真过目修改，所以在《柳兆薰日记》中有许多记录，如：“八月十五雨，饭后，顺风到黎里，到时雨更大，下午到芸舫处，墀以文两篇呈政。”“文一篇，直笔改好，下一日，墀文，今日改过誊清，迟钝如此，虽有佳文，不足制胜，况乃本色乎？必须用功，或冀寸进。”“墀之文，改得极认真，真名师也。”可见费延釐在柳应墀身上着实花了不少的心血。