当李自成破京时，方以智正在京供职。《清史稿》本传：
“会李自成破潼关，范景文疏荐以智。召对德政殿，语中机要。上抚几称善，以忤执政意不果用。京师陷，以智哭临殡宫，至东华门被执，加刑毒，两足骨见不屈。”
按：范景文原任南京兵部尚书，即《板桥杂记》作者余淡心所说的“南大司马”后以杨嗣昌夺情辅政，上疏力争不可，忤旨革职。崇祯十五年复起，召拜刑部尚书，旋改工部。李自成破潼关在崇祯十六年十月，其时首辅为陈演，乃是温体仁一系，宜乎方以智不见用。
范景文入相在崇祯十七年二月。崇祯在位十七年，共用过五十个宰相，而正人君子只有属于东林的文震孟、钱龙锡、孙承宗、范景文等人。李闯破京，范景文从容殉国。《明史》二百六十七，列传一百五十三，体例特殊，开首大书：
“崇祯十有七年三月，流贼李自成犯京师。十九日丁未，庄烈帝殉社稷。文臣死国者，东阁大学士范景文而下，凡二十有一人。福王立南京，并予赠谥。皇清顺治九年，世祖章皇帝表彰前代忠臣，所司以范景文、倪文璐…二十人名上，命所在有司，各给地七十亩，建祠致祭，且予美谥焉。”
按：范景文在南明时赠太傅，谥文贞。清朝赐谥文忠。据《明史》本传，范景文并没有政绩，所可传者，只有从容赴义一事：
“都城陷趋至宫门。宫人曰：‘驾出矣！’复趋朝房，贼已塞道，从者请易服还邸。景文曰：‘驾出安归？’就道房庙草遗疏，复大书曰：‘身为大臣，不能灭贼雪耻，死有余恨。’遂至演象所，拜辞阙墓，赴双塔寺旁古井死。”
此传聊聊数笔，但已足够传其人。忠臣毕竟可为，而生死之间正确的抉择，实为读书人生当乱世的第一大事。至如方以智，被俘不属，则为忍死须臾，自计尚有后责，本传接前又云：
“贼败，南奔，值马阮乱政，修怨欲杀之，遂流离岭表，自作序篇，口叙祖德，下表隐志，变姓名卖药中市。桂王称号肇庆，以与推戴功，擢右中尤。扈王幸梧州，擢侍讲学士，拜礼部侍郎东阁大学士，旋罢相，固称疾，屡诏不起。尝曰：‘吾归则负君，出则负亲，吾其缁乎？’”
其时方孔年已六十余，方以智子职臣节，不能两全，所以说：“归则负君，出则负亲。”本传接云：
“行至乐被执，其帅欲降之，左置官服，右白刃，惟所择，以智趋右，帅更加礼敬，听其为僧。”
按：广西有两平乐，在东为县，在西为村。方以智被执的平乐是阳朔以南的平乐县。“帅”则三藩之一的孔有德，《清史稿-孔有德传》：
“（顺治）七年…帅入广西境，克全州，十二月遂拔桂林，明永历帝走南宁，留守大学士瞿式耜死之。斩靖江王以下四百七十三人，降将吏一百四十七人。桂林、平乐诸属县皆下。”
按：孔有德入桂林，在是年十一月初五，瞿式耜被难，则在闰十一月十七。清军入广西，自全州进兵桂林，乃由东北趋西南，而方以智则由桂林向东南趋避，故行至平乐被执。计其时在十一月间。
余英时《方以智晚节考》，考其逃禅之地，引施闰章（愚山）诗及年谱，以为在梧州云盖寺。其言如此：
“清兵陷广西平乐村，事在一六五零年（顺治七年）。则密之逃禅，即始于此时。施愚山《浮山吟》诗有云：‘比山一片云，飞落苍梧野。忽值南风吹，旋归庐岳下。’其下双行夹注曰：‘药公家浮山，避地梧州云盖寺。值余奉使西粤，始同归，抵匡庐。’考之愚山先生年谱卷一：‘顺治九年壬辰（一六五二）卷：三月，奉使广西，达桂林。’秋七月桂林陷。从平乐经江西而归”正与诗注合。则密之最初落发，殆即在梧州之云盖寺。”
按：方以智出家后无常名，称“无可”、称“五老”、称“药地”、称“墨历”此非好奇，亦是避逻者耳目。“药公”乃愚山对方的尊称，浮山则为桐城的别名。
余英时以为方以智至庐山后，即挂单归宗寺，引施愚山《初至归宗寺同药公作》诗为证。此则不然，方以智归宗寺不过暂驻而已，旋即还里。其时在顺治九年之冬，侯方域与方密之书，一则曰：“往在昆陵，陈子定生私以问仆云：‘密之之还，何也。’”侯方域访陈贞慧于宜兴在是年冬天，年内还家。而此时陈已知方还里，则计途程，不可能在归宗寺久驻。再则曰：“归雪苑，遇何次德，具为述密之还里月日甚详。”何次德名杲，桐城人，在是年冬天与侯相会于商丘，而述“密之还里月日甚详”更为方以智已归桐城的确证。
方以智于顺治九年南归，其最初托迹之处，于考定其生平殊有关系。余著《方以智晚节考》，以为有自平乐归后，即在匡庐挂锡，其实不然，已如前述。为补余著之疏，进一步略考方南归后初期的行踪如下：
一、施愚山《无可大师六十序》云：“余昔奉使，经苍梧…至匡庐同游五老、三垒间，旬日始别。”
按：旬日始别者，非仅施别于方，亦方别于施。两人“从平乐经江西而归”同游庐山后，施北上回京复命，方则东归桐城。
二、归桐城未几，即去金陵，在高座寺坐关。侯方域《与方密之书》，自道在宜兴时，即闻方“止于高坐寺”又送《何子归金陵序》末有语：“今闻于高生寺为僧，何子归，试以语之。”此何子，亦为侯方域“述密之还里月日甚详”的“何三次德”何次德，行三，名杲。
按：序中着一“闻”字，显见得方以智在高坐寺，非何杲告于侯方域者，甚至亦非何杲所知，以意测度，方以智既已出家，无在俗家久住之理，到桐城后，亦必择一古刹挂单，还家一谒老父，嘱咐妻子尽心侍养，旋即飘然远引，止于金陵高座寺。或者何杲亦不及知。
余著用力甚勤，何以独于此节疏忽？当是为《清史稿》所误。《清史稿-方以智传》“其闭关高坐时也”云云，已见前引。而此传实采自马其昶《桐城耆旧传》，原文为“先生闭关高座寺也”落一“寺”字，遂大有出入。因为“高坐”或作“高座”原为禅门用语之一，讲经说法，例必高坐，虽落一“寺”字，文义依旧可通，因而余君偶然放过。
侯方域所说的“高坐寺”应为“高座寺”以《送何子归金陵序》证之，此寺确在金陵。但查《嘉庆一统志》、《清凉山志》，以及《实用佛学辞典》，均无此寺。但《高僧传》有慧进者，驻锡“京师高座寺”卒于齐武帝永明三年，年八十五。此京师即金陵，原来高座寺乃“南朝四百八十寺”之一。六朝古刹，至清犹存，应该亦是有名的丛林，熟于僧史者，必能述其涯略。但可决其必非天界寺，因为天界寺建于明洪武中，非六朝之遗。
方以智晚年逃禅，虽示不仕清的决心，亦以俗缘未断，只觉君亲两不可负。至于对恢复明室，经过弘光、永历两个年号，实已灰心。因此，康熙十年被逮，说是“密之罪状，必属谋反”之类，亦颇有商榷的余地。
方以智晚年定居江西吉州青原山净居寺，死于康熙十年，历来皆不知其死因。邓石如辑《清诗记事初编》，叙方以智次子中通生平，兼及其父云：
“以智晚年住持庐陵县河南十里青原山，康熙十年辛亥，以事被累入粤，卒于道中…今读此集陪诗卷四为《惶恐集》，纪其事甚详。‘惶恐’者，以智卒于万安舟中，即文山集之惶恐滩也。中通亦在桐城就逮，事历二年，经皖、赣、粤三省，赖周亮工营救得白，又以他事坐系获释。究为何事，一字未及。”