在元朔三年（公元前126年），张欧被免去了官职，皇帝帝任命公孙弘为御史大夫。当时，朝廷正在开通西南夷地区的道路，在东边设置沧海郡，在北边修筑朔方郡的郡城。公孙弘屡次劝谏皇上，认为去经营那些无用的地方会使中原疲惫不堪，希望停做这些事情。于是，皇帝就让朱买臣（江苏省苏州市，哇耶，还是第一次在史记里看到这个省）等以设置朔方郡的有利情况来诘难公孙弘。朱买臣等提出十个问题，公孙弘一个也答不上来。公孙弘便道歉说：“我是山东的鄙陋之人，不知筑朔郡有这些好处，希望停做通西南夷和置沧海郡的事，集中力量经营朔方郡城。”皇上就答应了。

汲黯说：“公孙弘位列三公，有很多俸禄。却盖布被，这都是骗人的。”于是皇帝询问公孙弘。

公孙弘谢罪说，“有这样的事。九卿中与我交好的人没有超过汲黯的了，但他今天在朝廷上质问我，确实说中了我的毛病。我有三公的高贵地位却盖布被，确实是巧行欺诈，妄图钓取美名。我听说管仲担任齐国的宰相时，有三处府第，他的奢侈可以与君王相比，齐桓公依靠管仲的辅佐称霸，这也是对周王的越礼行为。而晏婴担任齐景公的宰相时，自己吃饭不吃两样以上的肉菜，妻妾不许穿丝绸衣物，齐国依然可以治理得很好，这是因为他能够与百姓同甘共苦。如今我公孙弘位为御史大夫，却盖着布被，这使得九卿之下和小吏没有贵贱的差别（翻译不出来，大概就是想效仿晏婴），确实如汲黯所言。况且如果没有汲黯的忠诚，陛下又怎能听到这些话呢？”

皇帝认为公孙弘谦让有礼，越发厚待他，终于让公孙弘当了丞相，封为平津侯。