皇上想废掉太子，立戚夫人生的儿子赵王如意。很多大臣进谏劝阻，都没能改变高帝确定不移的想法。吕后很惊恐，不知该怎么办。有人对吕后说：“留侯善于出谋划策，皇上信任他。”

吕后就派建成侯吕泽胁迫留侯说：“您一直是皇上的谋臣，现在皇上打算更换太子，您怎么能垫高枕头睡大觉呢？”

留侯说：“当初皇上多次处在危急之中，采用了我的计谋。如今天下安定，由于偏爱的原因想更换太子，这些至亲骨肉之间的事，即使同我一样的有一百多人进谏又有什么益处。”

吕泽竭力要挟说：“一定得给我出个主意。”

留侯说：“这件事是很难用口舌来争辩的。皇上不能招致而来的，天下有四个人。这四个人已经年老了，都认为皇上对人傲慢，所以逃避躲藏在山中，他们按照道义不肯做汉朝的臣子。但是皇上很敬重这四个人。现在您果真能不惜金玉壁帛，让太子写一封信，言辞要谦恭，并预备安车，再派有口才的人恳切地聘请，他们应当会来。来了以后，把他们当作贵宾，让他们时常跟着入朝，叫皇上见到他们，那么皇上一定会感到惊异并询问他们。一问他们，皇上知道这四个人贤能，那么这对太子是一种帮助。”

于是吕后让吕泽派人携带太子的书信，用谦恭的言辞和丰厚的礼品，迎请这四个人。四个人来了，就住在建成侯的府第中为客。（东园公、绮里季、夏黄公、角里先生）

汉十一年（前196），黥布反叛，皇上患重病，打算派太子率兵前往讨伐叛军。

这四个人互相商议说：“我们之所以来，是为了要保全太子，太子如若率兵平叛，事情就危险了。”于是劝告建成侯说：“如果太子领兵出征，有了功劳的话，他的太子地位也不会因此而有所提升；但如果没有功劳的话，从此就会遭受祸患。太子所率领的将领们，都是曾经与汉高祖刘邦一起平定天下的猛将。如今让太子来统率他们，这就像是让羊去指挥狼一样，他们肯定不会为太子卖力，因此太子出征必然会无功而返。我听说‘母亲被宠爱，孩子就常常被抱’，现在戚夫人日夜侍奉皇上，赵王如意也常被抱在皇上跟前，皇上曾说‘我绝不会让不成器的儿子压在有出息的儿子之上’，这表明赵王如意将取代太子的地位。您何不赶紧请吕后找机会向皇上哭诉：‘黥布是天下的猛将，很会用兵，现今的各位将领都是陛下过去的同辈，您却让太子统率这些人，这和让羊指挥狼没有两样，没有人肯为太子效力，而且如让黥布听说这个情况，就会大张旗鼓地向西进犯。皇上虽然患病，还可以勉强地乘坐辎车，躺着统辖军队，众将不敢不尽力。皇上虽然受些辛苦，为了妻儿还是要自己奋发图强一下。’”于是吕泽立即在当夜晋见吕后，吕后找机会向皇上哭诉，说了四个人授意的那番话。皇上说：“我就想到这小子本来不能派遣他，老子自己去吧。”于是皇上亲自带兵东征，群臣留守，都送到灞上。留侯患病，自己勉强支撑起来，送到曲邮，谒见皇上说：“我本应跟从前往，但病势沉重。楚国人马迅猛敏捷，希望皇上不要跟楚国人斗个高低。”留侯又趁机规劝皇上说：“让太子做将军，监守关中的军队吧。”皇上说：“子房虽然患病，也要勉强在卧床养病时辅佐太子。”这时叔孙通做太傅，留侯任少傅之职。

汉十二年（公元前195年），高祖刘邦率军击败了英布的军队后，他的病情加重，想要更换太子。留侯张良对此表示反对，但高祖不听，张良因此称病不再参与政事。叔孙太傅通过引用古今的历史事件，竭力劝说皇上不要更换太子，甚至以死相争。皇上表面上答应了他，但内心仍然想要更换太子。等到皇上安闲设宴的时候，太子在一旁侍奉。有四个人跟随太子，他们的年龄都超过了八十岁，须眉皓白，衣冠整齐。刘邦对此感到很惊讶，就问：“你们是什么人？”四个人上前回答，各自报上了自己的姓名，他们分别是东园公、角里先生、绮里季和夏黄公。

刘邦说，“我寻找你们多年，你们却一直躲避我，如今为何却出现在我儿子身边呢”。

四位老人说：“陛下轻慢士人，喜欢骂人，我们讲求义理，不愿受辱，所以惶恐地逃躲。我们私下闻知太子为人仁义孝顺，谦恭有礼，喜爱士人，天下人没有谁不伸长脖子想为太子拼死效力的。因此我们就来了。”