卢怀慎经历中宗、睿宗、玄宗三朝，一向注重官德，他清廉谨慎，生活节俭朴素，从不经营资产。虽然贵为卿相，常常将所得的俸禄和赏赐随手周济亲朋好友，而他的妻子儿女的生活不免于饥寒，他们住的房子因年久失修而不蔽风雨，便拿着帘子遮挡。每天吃饭，不过蒸豆两碗、蔬菜数盘而已。他穿的衣服和用的器具没有金玉等图案装饰。开元元年（713年），他奉命去东都洛阳主持选才授官，随身用具只有一个布袋，不认识他的人，根本看不出他是一个大官，及其去世，家无钱财，唯有一老仆，请求将自己卖掉换钱为他办理丧事，他的夫人崔氏曾经说：“卢怀慎清廉节俭，缓进而退，四方赂遗，毫发不留。”四门博士张星上言：“卢怀慎忠厚清廉，始终坚持正道，如不加丰厚赏赐，不能劝善。”于是，唐玄宗下令赏赐其家绸缎百段，米粟二百斛。

    开元四年（716年），卢怀慎兼吏部尚书，秋天，病重，屡次上书请求退休，十一月，玄宗李隆基批准其请求，不到十天便去世。赠荆州大都督，谥文成。临终遗表，举荐宋景、李杰、李朝隐、卢从愿四人，称赞他们是不可多得的人才，恳请加以重用。

    开元六年冬天，一天，唐玄宗去城南打猎，远远看见卢怀慎的家，残垣断壁，立即询问方知正是卢怀慎去世二周年的祭日，唐玄宗同情他家贫困，赏赐绢百匹。唐玄宗不去打猎，经过卢怀慎的墓地，只见一块墓碑都没有，停车临视，不禁大哭起来，下诏让官府为他立碑，令中书侍郎为他起草碑文，唐玄宗亲自书写，此碑被后人称为廉洁碑。