1975年，黄维被特赦，成了文史专员，但他固执的性格一直不改

1975年，黄维被特赦，成了文史专员，但他固执的性格一直不改。政协让特赦的国民党将领以蒋军的视角来讲述淮海战役，并整理成书。黄维很倔强，说如果是国民党视角，那么书名中的“淮海战役”四个字应该改为“徐蚌会战”。
在建议被否决后，黄维干脆使性子，不写了。黄维在淮海战役中，是国民党军的十二兵团中将司令官，围歼黄维兵团是淮海战役的重要环节，他的回忆具有极强的史料价值，如果黄维拒绝撰写，那么这本书的价值就会大打折扣。最后，不得不采取了折中的办法，即在书名下备注了一行小字：国民党称为徐蚌会战。
有一次，黄维参加黄埔校友的联谊会，黄埔五期的廖运周（在淮海战役中任黄维兵团的师长，率部起义）见到黄维后，笑着主动打招呼，黄维脸色一沉，扭头走到一边。
杨伯涛（淮海战役中，任黄维兵团十八军军长）对黄维说：“都过去这么多年了，过往一笔勾销。”
黄维说：“我心里这个坎过不去。”
1977年11月，黄维在南昌参观烈士纪念馆时，看到了墙上的方志敏的照片，他忍不住泪流满面，要同行的女儿黄慧南陪他去祭拜方志敏烈士的墓地。
到了方志敏的墓地后，黄维轻声开口说:“方大哥，我是黄维啊！50多年前，是您指引我考入黄埔军校。我，我对不起您啊……”
说完，黄维连连鞠躬，之后从女儿黄慧南手里接过鲜红，放在了墓前。在离开时，黄维几次回头，直至远去。
1985年，黄维在特赦十年后，回到了管理所，已经82岁的他，在当年自己住的房间里睡了一夜。第二天走的时候，感慨的说：“在这里，人民政府展现出了无比的耐心，哪怕我再抵制改造也给了我接受教育的机会，让我这个顽固分子可以变成新人。”
从管理所回来后，黄维又去了罗店凭吊。在淞沪会战中号称“血肉磨坊”的罗店血战中，黄维接替身负重伤的十八军六十七师师长李树森，在罗店和日军硬拼一周，黄维手下的三个团长，一人战死二人重伤，师部连文员、炊事员都拿枪上去了，战后清点人数，活着的人编不满一个团。
黄维到罗店后，当地有老人认出了他，很快不少人涌了过来，黄维对罗店伤亡那么大，但最终还是阵地丢失，表达了自责，老人说：“你们尽力了。”听到这番话，黄维忍不住流下眼泪。
从罗店回来不久，黄维落实政策的房屋补偿款下来了，他去找政协的工作人员，说希望把补偿款拿出一部分，在罗店建一个纪念碑，工作人员说：“这本来就是你的钱，怎么支配，由你决定。”
黄维听了后，非常高兴，他后来把这笔钱分成三部分，一部分留给没有工作的老伴养老，一部分用于研究“永动机”，最后一部分就是修建纪念碑了。
1986年7月，黄维来到香港，联络在港的黄埔同学，他到后不久的一天，突然有几个台湾来的情报人员找到他的住处，带头的说：“只要你不再回大陆，不管是留在香港还是去台湾或去美国，我们帮你办理手续，并补发你被俘以来的中将薪俸，大概算了一下，几十万美元总是有的。”
黄维说：“我被俘后受到优待，特赦后安排了工作，人家对我不薄，不能丧良心，这种事情我做不来。台湾我是要去的，但必须是正常渠道，而不是这种方式。我的家乡、亲人都在大陆，我哪里都不去。”
在拒绝了劝诱后，黄维还是写了封亲笔信，让来人交给在台湾的陈诚的遗孀谭祥，黄维是“土木系”的骨干，是陈诚一手提拔的。黄维在当54军军长时，曾因质疑军粮质量差，惹怒了时任军政部长的何应钦，被撤职查办，多亏陈诚在蒋介石面前求情，才让黄维免于查办。1948年，国民党组建精锐的十二兵团，司令官人选争议很大，难以确定，又是陈诚推荐了黄维。对黄维而言，陈诚是他的伯乐，对他有知遇之恩。
谭祥收到黄维的信后，深受感动，很快就写了回信，并邀请他到台湾来。
1989年3月初，黄维再次来到香港，在多次交涉后，台湾终于同意黄维以访问黄埔校友的名义到台湾来。台湾代表这次又提出让黄维离开大陆，除了此前开出的条件外，又加了优厚的条件：只要黄维去台湾，除了可以补发被俘后几十年的薪俸外，还可以以退役中将的待遇每月领取退休金，并且在台北提供住房一套。
黄维断然拒绝，这时的他的心脏已经出现严重的问题，在港期间，他曾多次打强心剂，以保证有足够的精力。
在港期间，曾有记者询问黄维对蒋介石的看法，黄维说：“蒋介石既是我的校长，也是我的长官，他的命令，我不得不执行。你问我怎么评价他，只能说，他那一套过时了，也是必然要失败的。”
黄维还给在台的昔日同僚、同学写了一封公开信，信中最后写道：“如统一早日实现，我当亲赴台湾和你们把酒言欢。”
3月19日，黄维来到北京，向政协的领导汇报了香港之行的收获，政协及有关部门领导肯定了黄维对统战做出的贡献，同意他去台湾。
让人惋惜的是，就在当天晚上，黄维心脏病发作，虽送到医院抢救，但还是在20日凌晨病逝，终年85岁。