拘审期间，张灵甫递交了申诉状，辩称妻子曾擅自拿走自己的军事文件，又交待不出理由，因此有“通共嫌疑”，也就是说他杀妻跟醋海翻腾没有关系，乃是出于“防共”需要。“防共”是那个时候的热门，谁都可以拿来给自己当盾牌使，或许就因为这个原因，张灵甫没有成为死囚，而是被判了十年有期徒刑。
人情似铁，官法如炉，张灵甫被关进监狱，穿起了号衣。在牢狱里的那段日子，这个做事不计后果的家伙一次次尝到了生不如死的滋味，而前途尽毁的现实，以及毫无个人尊严的生活，更让他眼前的世界变得一片漆黑。
不过他也并没有把牢底坐穿。很快，中日关系变得极度紧张，国民政府下令，凡服刑官兵一律调服军役，在保留原有军衔的情况下戴罪立功。
张灵甫出狱了，他需要用另一种方式来为自己忏悔和赎罪，去慢慢消减潜藏于心底的暗黑及暴戾。第一军是无脸再回去了，这时五十一师进驻汉中，正在招贤纳士，张灵甫自忖过去和王耀武有过一段共事的关系，便毛遂自荐，找上了王耀武。
王耀武对张灵甫留有很好的印象，认为他是个血性汉子，打仗也很有本事，于是爽快地收留了他。只是师里已没有实缺，只能暂时委任他为上校师附。
收到王耀武寄来的委任书，张灵甫二话不说就加入了五十一师。归根到底，他还是更适合于军队，只有军队才可以让他找到自我并重塑自我。
上校师附是个闲职，比的是板凳厚度，对张灵甫来说，指挥三〇五团才是真正过瘾的一件事，因为这意味着他可以上阵一显身手了。
三〇五团虽由地方保安团改编而成，但北方籍的士兵均身高体大，且又训练完整，一旦正式入编，即可胜任前线作战。按照王耀武扼守望亭的命令，张灵甫将三〇五团三营部署于望亭铁桥。11月21日，尾追而来的日军向铁桥发起攻击，三营竭力固守，使其无法顺利通过。
觉得快顶不住了，营长刘光宇急忙向张灵甫报告。张灵甫增派兵力，并亲自赶到铁桥阵地督战，最后三〇五团以伤亡六百人的代价，在望亭连守了三天，直到俞济时、王耀武下达撤退命令，才在炸毁铁桥后离开望亭。
途中三〇五团碰到了抄小道后撤的三〇六团，两团一先一后追上了总部。在此之前，王耀武与两团都失去了联系，他以为这两支强力部队已凶多吉少，因此在师部急得团团直转。看到张灵甫、邱维达突然出现在眼前，王耀武有一种喜从天降的感觉，他紧紧攥住两人的手：“三天来一直为你们担心，能冲出重围，真是命大！”
11月28日，七十四军撤至南京，驻扎在通济门至淳化镇。鉴于部队在淞沪战役中已经元气大伤，兵员严重缺额，大家都希望能撤到一个较为安全的地点，整训一段时间后再打。俞济时带着这一期待进入南京城，向蒋介石进行汇报，但是他得到的指示却是不但不能进行整训，还要加入南京保卫战的序列。
究其原因，三〇六团虽然出色地完成了掩护任务，但充其量只是为后撤大军争取到了三天喘息的时间，而在几乎所有部队都处在溃退状态的前提下，锡澄线并没有能够发挥预期作用，原先逐级抵抗的设想也随之化为泡影。
七十四军最初并不在固守南京的部队里面，他们是顶了胡宗南第一军的缺。第一军当时号称“天下第一军”，是中央军里面个顶个的王牌，但淞沪战役也把这支一流部队给整残了，以致于只能渡过长江，到浦口去担任接应任务。
俞济时对守卫南京缺乏信心，大部分将领也不主张守南京。主张打南京保卫战的只有蒋介石和唐生智，唐生智还担任了守城最高指挥官。
俞济时不情不愿，却又无可奈何。他不敢对蒋介石说三道四，只好把一股火都撒到唐生智身上：“唐生智（主张守城）的目的是想升官发财！”