黎玉是山西省原平市人，出生于1906年。青少年时期，他曾在崞县中学读书，伴随着广泛阅读书籍，黎玉开始积极参加各种反帝反封建爱国运动，接受新思想新文化，逐渐成长为一名忧国忧民的进步青年。
1926年，黎玉光荣地加入了我党，当时恰好是大革命时期，入党后的黎玉也积极投身革命浪潮，做了很多促进两党第一次合作的工作。大革命失败后，黎玉受到国民党反动派的迫害，并被关押起来，直到1929年才被保释回家。
回家之后，黎玉努力读书，同年，他考入了北平的法政大学，在大学期间，他几经努力，终于与组织恢复了联系。在这之后，黎玉主要活跃在北方，在宣传、组织等方面做了大量卓有成效的工作。尤其是上世纪三十年代初期，北方的革命形势非常紧张，组织也多次遭到敌人破坏，但黎玉置生死于度外，坚定不移地与国民党反动派斗智斗勇。
1936年，黎玉被北方局派到山东。当时山东省委遭到敌人严重的破坏，黎玉的主要任务是恢复与重建被破坏的组织。到山东后，黎玉担任了山东省委书记，全面领导山东的革命斗争行动，他一方面积极营救被捕的同志，另一方面深入基层，重建被破坏的各级组织，使得山东地区的革命斗争再次如火如荼地发展起来。
抗日战争与解放战争时期，黎玉继续留在山东地区，致力于建设与扩大山东根据地，同时，他也是山东根据地的主要创建者之一，在土改、财政、粮秣、支前等多项工作上，黎玉都作出了巨大的贡献，促进了革命的最终胜利。
不过，解放战争时期，黎玉却受到了不公正对待。1947年1月，饶漱石开始主持华东局的工作，他很快就把矛头对准了黎玉等山东地方干部。当时饶漱石是以黎玉主持制定的《九一指示》为突破口的，而《九一指示》是黎玉根据毛主席的指示制定的一部有关山东开展土改工作的办法，然而，饶漱石却说《九一指示》是黎玉在山东推行“富农路线”。
在这种背景下，华东局在1947年2月21日发布了《关于目前贯彻土地改革、土地复查并突击春耕的指示》，在这之后，黎玉等人主持的土改政策几乎被全盘否定，山东地区也开始推行“左倾”的土改政策，导致很多富农与地主受到迫害。同时，华东局也多次召开会议，批判黎玉等山东地方干部。
黎玉本人虽然在华东局的会议上为自己辩解过，但在其他公开场合，他反而作了违心检查，这也导致他长期受到不公正对待。当时黎玉的想法很简单，那就是“一切为了前线，一切为了胜利”。为了维护团结，黎玉最终牺牲了个人利益。
也因为这方面的原因，作为山东根据地的主要创建者之一，建国后，黎玉又多次受到不公正对待。1950年，他被撤销了候补中央委员。1952年，在“三反”期间，他被撤销了上海市委秘书长的职务。此后黎玉又担任了一机部副部长、农业机械部副部长等职务，直到粉碎“四人帮”之后，他的问题才得到重新审查的机会。
1986年，中央撤销了解放战争时期华东局给予黎玉的处分，为黎玉恢复了名誉。两年后，黎玉因病去世。另外，黎玉还在“三反”期间被撤职，60年后的2012年，上海市委作出了《关于撤销在“三反”运动中给予黎玉同志撤销职务处分决定的批复》，为黎玉恢复了一切名誉。
