巴金曾写过一些批评性的评论文章，沈从文看后，劝巴金不要“那么爱理会小处”，“莫把感情火气过分糟蹋到这上面”。他对巴金说：“什么米大的小事如某某某之类的嫌言小语也使你动火，把小东小西当成了敌人”，“我觉得你感情的浪费真极可惜。”巴金很是感谢他，称他为“尊敬的畏友”。
文革开始后，60多岁的沈从文挨批挨斗之余的工作是扫厕所。沈有时呆呆地看着天安门人来人往，然后回过头对一同被批斗的史树青说：“我去擦厕所上面的玻璃。”沈说，他每天在天安门历史博物馆扫女厕所，“这是造反派领导、革命小将对我的信任，虽然我政治上不可靠，但道德上可靠……”多年后，沈从文被人问及他在文革中的遭遇，只是说：“我没有我的朋友受的冲击大，我只是要打扫茅房，那是普通的事，在家里不是也要打扫吗？”
中央美院有位学者，是沈从文西南联大的学生，与沈、黄表叔侄关系十分亲密。文革开始后的一个下午，他紧张地、悄悄地走到黄家门口，轻轻地、十分体贴地告诉黄永玉：“你要有心理准备，我把你和你表叔都揭发了！”黄去告诉沈从文，沈笑着说：“会，会，这人会这样的。在昆明跑警报的时候，他过乡里浅水河都怕，要个比他矮的同学背过去……”
一次开批斗会时，有人把一张标语用浆糊刷在沈从文的背上，批斗结束了，他揭下那张“打倒反共文人沈从文”的标语，后来对黄永玉说：“那书法太不像话了，在我的背上贴这么蹩脚的书法，真难为情！他原应该好好练一练的！”
有一次，沈从文从东城小羊宜宾胡同走过，公共厕所里有人一边上厕所一边吹笛子，是一首造反派的歌。沈对同行的黄永玉说：“你听，弦歌之声不绝于耳！”
沈从文被下放到湖北咸宁，他身体不好，但总是找些力所能及的活来干，比如到湖边拾干苇或在路边捡竹跟引火用，身体稍好些，他就搬个小凳子，去看菜园子，以防牲畜偷吃。他写信给黄永玉说：“……牛比较老实，一轰就走；猪不行，狡诈之极，外形极笨，走得飞快，貌似走了，却冷不防又从身后包抄过来……”他还对黄说：“……这儿荷花真好，你若来……”
沈从文说，下放的时候，他独自住在一个大教室里，“看着窗子上有几个大蜘蛛慢慢地长大了”，“这面窗子还可以每天看见一只大母牛，每天早晨还可以看见牛，那个大牛、小牛都庄严极了，那个地方的牛都大极了，是花牛，美极了，一步一步带着小牛吃饭去。间或还能看见一些小女孩子梳着两个小辫辫，抬砖头拣树叶子。”
文革中，沈从文和黄永玉二人在路上相遇，沈看到黄，装着没看到，擦身而过的瞬间，沈头都不歪地说了4个字：“要从容啊！”
1979年之前的13年，沈从文一直住在一间七平方米的阴暗小屋里，白天都得开灯。林湄问沈：“沈老，在小暗房的日子里，你想的是什么？”沈头一仰，哈哈大笑，许久才用豁达而谅解的口吻说：“身旁有许多书就足够了。这算什么？有很多人连性命都没有了。只是失掉了很多书很心痛，后来又在旧书店买回来了。”
文革后，沈家从门庭冷落又回到门庭若市，重新评价沈从文文学成就的文章屡见报端，一度盛传他将被提名为诺贝尔文学奖候选人。沈从文对此却很淡然，他说：“那都是些过时了的东西，不必再提起它。……我只不过是个出土文物。”
沈从文将稿费捐献给家乡小学后，为沈作传的凌宇曾劝他道：“年纪大了，总有用钱的时候，应该自己留下一些。”他淡然一笑：“不要紧，钱，总还会有的。”