曹汝霖故居坐落在和平区山西路108号。占地两亩，是由意大利留学生沈理源建筑师设计的三层砖木结构红砖小洋楼。其带地下室，罗马式雕刻雕塑很多。楼道及楼内各屋顶均有石膏雕饰、护墙板，门窗均有精细的木雕装饰。
进得主楼，楼道的左侧有一个梳妆台，中间是玻璃砖的镜子，其两侧是衣架。楼道的正前方摆设一大座钟，还有一个一尺多高手持花灯的披大衣铜人像。一楼是餐厅、会客厅和小舞厅。二、三楼是卧室、书房等私人空间。曹宅有前后院，前院有传达室、佛堂、车库、厨房等，为平房。
1919年曹汝霖被免职后，居住在此。该故居现为居民住宅，被列为天津市尚未公布为文物保护单位的不可移动文物。
曹汝霖（1877-1966），字润田，生于上海，清末民初政治家，亲皖系的新交通系首领。幼年入私塾，后去汉阳铁路学堂读书。1900年留学日本，先后在东京专门学校（早稻田大学的前身）、法政大学学习。留日期间，政治立场上倾向于君主立宪制。归国后不久，便以“知日派”身份步入外交界。“五四”期间，被指为卖国贼，住宅惨遭烧毁。政府当局在强大的舆论压力下，不得不对其作出罢免的决定。此后虽继续出任交通银行经理，但却在国民政府北伐后下野。抗战期间，曹汝霖拒绝与日本人合作，仅出任了伪政权顾问等虚衔。1949年随国民政府迁台，后又亡命日本。1957年移居美国，并在美国底特律去世。
长期以来，曹汝霖身上贴的标签就是“汉奸”、“卖国”。曾任北大校长的蒋梦麟在其回忆录《西潮》如此记述：“北京政府的要员中有三位敢犯众怒的亲日分子。他们的政治立场是尽人皆知的。这三位亲日分子——交通总长曹汝霖，驻日公使陆宗舆，和另一位要员章宗祥，结果就成为学生愤恨的‘卖国贼’。”大量诸如此类的叙述，使得曹汝霖的“汉奸”形象深入人心。五四的爱国浪潮迫使曹汝霖在其巅峰时期淡出政坛，其子女也被人指指点点。耄耋之年的曹汝霖在回忆这段历史时，也常以一种悲痛的心态为自己辩称“然而事情经过，何尝如此！清夜叩心，俯仰无愧。”这其中固然有曹对自己的粉饰，但仅以“卖国贼”来看待这位新交通系的大佬，不免有以偏概全之嫌。
曹汝霖被定义为卖国贼的渊源之一可以追溯到1905年。这一年，中日两国全权大臣奕劻、小村寿太郎等在北京就东三省条约事宜展开谈判。袁世凯作为中方代表之一参与其事，而曹汝霖和唐绍仪等当时都是袁世凯的助手。这次谈判的结果是签订《会议东三省事宜正约》和《附约》，人们难免会对曹汝霖有着“一出山做事，就参与了卖国的勾当”的看法。1909年前后，曹汝霖奉外务部特派，前往东三省实地考察。通过考察曹汝霖发现，日本逾越条约事很多。同时，曹汝霖在东北期间还会晤了时任滨江道尹的施肇基，得知俄国在东北的扩张实况，市面上充斥俄货。基于对日本、俄国祸华后果的得失权衡，曹汝霖回京后呈递说帖，建议清政府以小妥协换取大整顿，适当满足日本要求，如将鸭绿江的伐木权扩张到五十公里处，早日了结此多年悬案，“日本也许感我好意，将来不至处处与我为难”，而我们则趁此安稳环境赶紧整理东三省内政。曹汝霖提出了诸多具体可行的建议，如练新军、分县区以便治理、屯田寓兵于农、开设学堂、兴工业、练警察、开公路等等。尽管这些建议未获清政府采纳，但就这些建议本身而言，还是有许多可圈可点之处。
曹汝霖外交生涯中最重要的节点当属对日“二十一条”谈判。这也是曹日后为人诟病的重要原因之一。1915年1月18日，日本提交了二十一条要求文件。曹汝霖在回忆录中对这段历史记述道：“此次会议，我与陆子兴（陆徵祥别号）总长，殚精竭力，谋定后动……日本提之二十一条，议结者不满十条；而第五项辱国条件，终于拒绝而撤回。会议结果，虽不能自满，然我与陆总长已尽最大努力矣”，“世人对此交涉不究内容，以讹传讹，尽失真相。”
在此次对日交涉中，曹汝霖是积极维护国家利益的，为此甚至不惜个人名誉。在交涉后期，中日形势骤然紧张，北京政府已通过决议表示再度让步，并派曹前往日使馆交涉。时值外务部刚接到日本政府将第五号要求撤回的消息，急电告曹汝霖。然而还是晚了一步，曹已奉命将中国对第五号要求的让步告知日使。无奈之下，曹汝霖只得“临时机变，谓适所言者，系纯个人私见。因将已发之矢收回”。而后，陆宗舆就相关情况致电外交部，“关于中国政府五月六日之让步，谓仅外交次长个人意见，并无何等正式意味”。因此，顾维钧在回忆这次谈判时，对曹有着公平客观的评价：“但是就我们所共事而言，我始终感到曹先生是一位能干的外交家，是维护国家利益的。”
袁世凯死后，日本向段祺瑞政府提供了巨额的“西原借款”，早前在“二十一条”谈判中极力主张对日强硬的段祺瑞因此向日本妥协。而升任交通总长的曹汝霖、担任驻日公使的章宗祥、币制局总裁陆宗舆，因直接参与其事，成为国人公敌。随着“五四”运动的发展，1919年6月10日，曹汝霖和章宗祥、陆宗舆被免职。
曹汝霖“知日”、“亲日”不假，但正如日本前首相吉田茂所说，“他的亲日，绝非是盲目的”。强权之下，弱国无外交。我们不能把因中国的贫弱导致的外交失败归责于谈判的重要参与者。纵然我们无法断言曹汝霖是一个爱国者，但仅仅以“卖国贼”为其盖棺定论，也未免有失偏颇了。
