曹汝霖出生于上海，为家中独子，但家境并不宽裕。年轻时的曹汝霖厌倦八股文，执意自费去日本留学，曹汝霖曾就读于东京法学院，回国后在商部任职，同时还进士馆讲授刑事诉讼法。辛亥革命后新定了律师条例，规定法庭诉讼可以请律师，已辞去公职的曹汝霖遂申请律师证书，成了民国的“头号”律师。
袁世凯就任大总统后，于1913年委任曹汝霖为外交次长，他生平最受诟病的两件事均出自此任期内：签订“二十一条”、巴黎和会中国外交失败。“五·四”运动爆发当日，“火烧赵家楼”烧的就是曹汝霖的宅子。曹汝霖当时藏进两间卧室夹层的箱子里，后穿上厨役的衣服溜到东交民巷的法国医院，才躲过此劫。
“五·四”运动后，在全国人民的声讨下，北京被迫于6月10日下令罢免了曹、章、陆三人的职务。曹汝霖被免职后避居天津，他受刺激颇深，发誓不再与沾边。时年42岁的曹汝霖开始深居简出，不时做做慈善。每年冬天，曹家都向拉洋车的车夫施舍100套棉衣。施舍的方式也比较特别，每次由家里当差的抱着几套棉衣出门，看见街上有衣不蔽体的车夫，便雇他的车，拉到僻静的小胡同，叫车停下来，施舍给车夫一套，然后再去物色下一个对象。
曹汝霖向来不否认其“亲日”立场，明治维新后的日本一直被他视为中国发展的理想范本，不过，1937年抗日战争爆发后，他公开表示要以“晚节挽回前誉之失”，立誓不在日伪政权任职。12月底，日寇占领军筹组华北伪政权，他们认为最理想的领军人物是吴佩孚、靳云鹏、曹汝霖三人，一度曾把曹氏看做是总理大臣的理想人选。曹汝霖怕于己不利，接受了新民印书馆董事长、“中日恳谈会”会长等职，但并无实权，从不到职视事。蒋介石当时就表示对曹的这种做法非常赞许。1945年北平肃奸时，军统局曾将伪华北政权的汉奸名单呈蒋审核，蒋特意将曹汝霖的名字剔除在外。
20世纪20年代，由曹汝霖发起、20多人出资，在阜城门内白塔寺沟沿建了一所医院，取名医院。医院买进所需医疗器材后，尚余20万元，存在由曹汝霖代管的新亨银行作为一项固定开支，穷人来看病，一概不收医疗费。医院经费方面都由曹汝霖筹措，冬季用煤也由他兼任董事长的井陉正丰煤矿公司供给。他不拿薪水，所得的全部报酬就是由医院给他的汽车灌满汽油。曹汝霖主持医院工作达十余年，日军侵占华北后，曾想强占这家医院，曹去找日军交涉说：“这家医院原来是私人经营的，而且是慈善性质。”日军方罢手。抗战胜利后，曹汝霖辞去院长，请钟惠澜继任，他说：“我本是个外行，维持了十几年，虽然没有成绩，但幸而没有大过。日本人在这里，我不能不顶着名字应付应付。现在日本人走了，还是你们几位专家多负些责任吧。”
抗日战争胜利后，曹汝霖迁居上海，先被短暂囚禁，后释放。他晚年忆及“五·四”运动时，也大度感慨：“此事距今四十余年，回想起来，于己于人，亦有好处。虽然于不明不白之中，牺牲了我们三人，却唤起了多数人的爱国心，总算得到代价。”1966年8月他病死于美国底特律。
