吴棠世居明光市（原属盱眙）老三界。咸丰八年（1858年），李兆寿至老三界，焚烧民房数百家，吴氏家族数百人仓皇出逃，依附吴棠，转徙清淮等地。吴棠哀叹“飘零我是无家客。问故巢，而今安在，劫灰凄恻。”吴炳仁也曾有诗记载在淮安时的困境：
芦屋同居数十人，一盂麦饭派来均。
更挑野菜和根煮，惊恐忧劳度一春。
由此可知三界的吴氏老屋已不存在。同治三年（1864年），李兆寿交出滁、定、盱等地，吴棠在三界建造新宅，后因“后裔寓滁”在滁城另建新居。（汪雨相《嘉山县志》）现在可以确认的吴棠曾经居住过的有三处：
1、西公馆与约园：西公馆位于滁城西大街75号，共有七进。门匾上书“瞻丰草堂”，潘慰祖（江蘇淮安人，工書法篆刻）书。吴炳仁曾有诗作：“饥驱廿载困名场，负我瞻丰旧草堂”。1937年，西公馆被日寇烧毁一部分，其余的于1995年拆迁。吴棠侄玄孙女吴绍坪等曾于1993年在故居前合影留念。现匾额和遗留的石鼓等保存在吴棠侄玄孙吴绍宪处。约园是吴家的花园，地点在三古堆，吴炳仁《约园存稿》曾记载“我有约园丰山麓”，并小注 “予有约园在滁城西隅”。现已淹入城西水库，据说干旱的时候还能露出来。
2、南公馆：位于南谯北路（中心街）64—72号。古称中心桥街，位于老城区中心地段，南公馆东面临街，西至金刚巷，北至盐局巷，南至人民电影院（含本身），是一个长方形的建筑群。吴炳经的曾外孙王立仁90多岁了，对吴棠故居非常熟悉。他说，吴棠的房子叫南公馆，在人民电影院那一片，房子很高大，很漂亮。中心街是东西向，为了房子门朝南，沿中心街做了一道木栅栏，进栅栏是一个大院子，沿院子北侧开了一个大门，后面是上房，还有很多房子。有一百多间。南公馆的老太太（吴炳采之妻）是我们王家的姑娘，我妈妈吴汝琨（吴炳经的孙女）嫁到王家来，我妹妹王德华又嫁到吴家去（夫吴棠侄玄孙吴绍赣）。我们是亲上加亲。因而，小时候经常到南公馆去玩。
吴棠于同治十一年（1872年），以病奏请开缺，朝廷不允，给假两月调养。时过两年，病已渐重，于1875年复请开缺，乃获准允。过去建筑周期长，滁州新宅上百间房子短期内不可能建好，依此推测南公馆当为吴棠准备告老退休之时在滁州修建，建筑年代当在1872年之前。
1937年抗战爆发，长孙吴公望等逃难去外地。南公馆大门口的院子被加顶盖成大礼堂，宁宗宪主编《中国戏曲志·安徽省卷·滁县地区分卷》记载：“1939年至1940年间，由日伪县长龚玺揆、区长孙光辉等在滁城商界摊派筹款而建成。原名‘荒兴大戏班（院）’，是为献媚日本驻滁城宣抚班班长‘荒井喜七郎’而起的。” 1950年4月，这里用作滁州军分区电影俱乐部。1952年，改为国营人民电影院，翻盖了放映大厅。拆去大门口的院子和客厅等前半部分的房子。1953年，新华书店进驻北面的部分房子，临街的房子改做门市部，后面作库房和职工宿舍，其余的几十间房子在50年代房改的时候充作公房。据滁州市房产经营管理处提供的《滁县房改后房主分户情况登记表》记载：“房主姓名吴公望（吴棠嫡孙），住中心街72号坐东向西。1962年5月27日，吴公望出租72号房产两间给李树华，每月租金2.40元。”1972年和1985年，原宽4米的中心街两次拓宽至24米，拆除民房1万平方米。南公馆临街的房子被扩路拆除。90年代末期，临街的房子再次拆除改建成楼房，剩余的房子基本保持晚清的格局，除新华书店职工外，居住的都是收入较低的市民。
现在用作新华书店职工宿舍的部分保存较好。有东西正房三间，面阔三间，进深一间。硬山顶，小砖瓦。抬樑式五架樑，面阔十二米，进深七米。挂落雕花槅扇窗。还有南北厢房各两间，抬樑式三架樑，面阔两间六米，进深五米。2006年4月，已被市政府批准为市级文物保护单位。东面临街，西至金刚巷，北至盐局巷，南至人民电影院均为保护范围。
3、北公馆：在北大街25号，吴炳经所建。50年代仲家油坊迁入，已被改造的面目全非。
光绪二年（1876年）吴棠卒于滁城。
据吴氏族人相传，当日为防盗墓，一门出三棺，分葬三处。吴棠真墓在南谯区沙河集的东圩村山许村民组龙山，（《滁州市志》、《滁州市文物志》）文革中被毁，尚留坟圹；衣冠冢在明光市老三界十字路东北角，已无存。
光绪皇帝和慈禧太后都有祭文，并有 “御制头品顶戴原任四川总督吴棠碑文”，谥“勤惠”。曾祖吴连、祖父吴釮、父吴洹俱赠光禄大夫。吴棠的几位夫人先后都赐封一品夫人。三子吴炳和钦赐举人、刑部员外郎。并下旨吴棠事迹入国史馆（清史稿有“吴棠传”），在清河、三界等地建“勤惠公祠”。清河的“勤惠公祠”至今仍在，淮安市拨款修缮，已作为旅游景点开放。并新建“扁舟亭”和漕运总督府。 三界的故居为吴炳祥“徇乡人请援，允暂捐为吴勤惠公专祠”， （汪雨相《嘉山县志》）1932年嘉山县在老三界成立，县政府就设在勤惠公祠。2000年8月被拆除。
吴氏家族世居三界，离滁城不足百里，迁滁已过百年，自吴棠起都把滁城作为故乡。如他在《滁州新建忠义祠碑铭》中说：“既悲相从患难之无人，又感吾乡风俗好义，能杀贼以卫乡里，凛凛乎有生气焉。”正因为吴棠在滁城作退居之所，故光绪《滁州志》把他作为“流寓”划入“列传”部分。吴炳仁在“喜舍弟吉甫（炳祥）自蜀南旋应试毕住滁待榜”一诗中也写道：“滩经滟滪愁奔浪，山绕滁阳见故乡。”
