1975年1月13日开幕的第四届全国人民代表大会中，陈永贵被选举为国务院副总理，在副总理中名列第七。
当时，中央安排陈永贵住在钓鱼台三号楼。
5月初，陈永贵给毛泽东主席写了一封信，要求允许他定期竞选。他三分之一的时间在昔阳，三分之一在全国，其余的时间在北京。
在这封信中，陈永贵还向毛泽东主席申请搬出钓鱼台。
毛主席指导：“同意，钓鱼台不能钓到鱼。”同时，毛主席在基层实际调研的基础上，也对陈永贵的工作作风表示赞赏。
1975年8月中旬，陈永贵从钓鱼台搬到十字路口一条小巷的一个小院子里。陈永贵搬出钓鱼台时，应按规定配备服务员。陈永贵不肯说，“来个小女孩不方便，还是不要了。”中央政府说他们可以派一个老人来。陈永贵补充道：“这么大的年纪还来为我服务，是不合适的。”
陈永贵是国务院副总理，但他的家人却一点也没有沾到光。他对自己和家人都很严格，他让妻子带着孩子到大寨打工，甚至没有把城市户口转移给他们，他的妻子宋玉林一直在村里经营托儿所照顾孩子。访问大寨的国家领导人和外国客人主动提出要去看望她。她感到很尴尬，觉得自己的衣服不干净，穿着不得体，就到处躲藏。但陈永贵不在乎，他坚持要找到她。他对她说：“你为什么不好意思见到别人？工作是最光荣的。”他还开玩笑说，“有传言说我娶了一个20岁的女孩，我们就出来让大家看看。”
令人难以置信的是，副总理陈永贵本人没有城市户口。没有城市户口，就没有粮票。每年秋天，大寨都会分发粮食。陈永贵的口粮应送公社粮仓，用国家粮票代之以送陈永贵。当时，副总理陈永贵有时会吃很多的杂面，因为他自己家的口粮不够。宋玉林爱他的丈夫，经常给他做一碗白面条，让他一个人吃。但后来她发现陈永贵说吃不完一大碗，只肯勉强吃小碗，他想给她和她的孩子们分享一些。
陈永贵周围的工作人员觉得他很穷，想增加他的收入，他们为他申请了伙食补贴。陈永贵搬出钓鱼台后，客人很多，昔阳的干部、全国的劳动者和国务院的同事经常来。据说，这种客人用餐补贴也不是一个小数目。国务院对此也有规定，并批准了该申请。但陈永贵拒绝报销，说：“我的客人怎么能让国家报？”
作为国务院副总理，陈永贵自然参与了一些外交活动。在外事活动中，外宾有时会给陈永贵一些小礼物，如计算器等。这种礼物陈永贵都上交了，两袖清风，一尘不染。
进入新时代后，陈永贵辞去国务院副总理职务，担任北京东郊农场顾问。
1986年3月26日，陈永贵在北京病逝，享年71岁，完成了他传奇般的人生。
