荣毗，字子谌，北平无终人。父荣权，魏兵部尚书。毗兄建绪，历任北周载师、隋始洪二州刺史等职。荣毗历任北周内史，隋华州长史、蒲州司马、侍御史等职。
《隋书》记载：毗少刚鲠，有局量，涉猎群言。仕周，位内史下士。隋开皇中，累迁殿内局监。时以华阴多盗贼，妙选长史，杨素荐毗为华州长史，世号为能。素之田宅，多在华阴，左右放纵，毗以法绳之，无所宽贷。毗因朝集，素谓之曰：“素之举卿，适以自罚也？”毗答曰：“奉法一心者，但恐累公所举。”素笑曰：“前言戏耳。卿之奉法，素之望也。”时晋王在扬州，每令人密觇京师消息，遣张衡于路次往往置马坊，以畜牧为辞，实给私人也。州县莫敢违，毗独遏绝其事。上闻而嘉之，赉绢百匹，转蒲州司马。
汉王谅之反也，河东豪杰以城应谅。刺史丘和觉变，遁归关中。长史渤海高义明谓毗曰：“河东国之东门，若失之，则为难不细。在中虽复匈匈，非悉反也。但收桀黠者十余人斩之，自当立定耳。”毗然之。义明驰马追和，将与协计。至城西门，为渤海所杀，毗亦被执。及谅平，拜书侍御史，帝谓曰：“今日之举，马坊之事也。无改汝心。”帝亦敬之。毗在朝侃然正色，为百僚所惮。后以母忧去职。岁余，起令视事。寻卒官。赠鸿胪少卿。
大业三年，隋炀帝敕曰：“御史府不置大夫，则中丞实为之长。总率一属董正朝纲风宪之司耳，目所寄任尤峻必惟其人。御史中丞荣毗，趋操端方，器度凝远。有劲直之气，足配昔人之贤；有敏达之才，足周当世之务。顷由刺史擢贰臺端。屡陈忠谠之言，助予视听之广。议论鲠亮，朋党坏植而散群；弹劾公方，奸邪心沮而胆落。蔽自朕志进由南司，以明因任之方，以肃纲纪之地，尔其推明法律，纠正官邪，进思尽忠，无惮大吏，则予一人以咨，尔亦有无穷之功。”
