东晋末年，晋安帝司马德宗隆安五年（公元401年），桓玄造反，篡权称帝。元兴四年刘裕击溃桓玄，助安帝复位。公元419年，晋恭帝司马德文继位，次年晋恭帝让位于刘裕，晋灭亡。
公元420年，刘裕建宋，称宋武帝。历宋少帝、宋文帝、宋孝武帝、宋明帝、宋顺帝。公元479年宋灭，相继以齐、梁、陈。在历史上称南朝。
相应的，中国北部列国兴起，互相吞并。谓北朝。公元386年拓跋珪建立大魏（史称北魏），称魏王，定都盛乐（内蒙古境内）。至398年，势力日益强大，迁都平城（今山西大同东北），正式称帝，逐渐统一北方。493年，魏孝文帝拓跋宏迁都洛阳，重用汉臣，推行一系列汉化改革，并将拓跋氏改为“元”姓。魏孝文帝元宏太和23年（公元499年，即齐永元年），山东汶上31世荣诗言公被授北平护军，占籍无终。
公元534年，北魏逐渐衰弱，内部分裂。魏孝武帝元修投奔关中宇文泰。次年，宇文泰扶持魏文帝元宝炬继位（史称西魏）。宇文泰为八大柱国之首，李虎（李渊祖父）追随宇文泰亦为八大柱国，杨忠（杨坚之父）为大将军。荣权（诗言公之孙）历任相府东阁祭酒，散骑常侍，出使襄阳，促成西魏册封梁王萧詧，官至兵部尚书。宇文泰称赞“荣权，吉士也，与之从事，未尝见其失信”。荣权刚健正直，才识过人，极有政绩。卒后帝哭之甚哀，谓众臣曰：“朕之得以寡过自新社稷安定者，赖有荣权也，卿辈当勉 而效之。”
公元557年，魏恭帝拓跋廓让位于宇文泰之子宇文觉，西魏亡。大周（史称北周）立。北周经周明帝、周武帝、周宣帝至周静帝。杨坚初任随州刺史，后封隋国公，荣权长子荣建绪仕周，为载师下大夫，仪同三司。次子荣毗仕周，位内史下士。
荣建绪与杨坚交情不错，周静帝时，荣建绪将赴任息州刺史，杨坚让荣建绪缓行，以实施禅代之计，共取富贵。《北史》有载：建绪与文帝（隋文帝杨坚）有旧，及为丞相，加位开府，拜息州刺史。将之官，时帝阴有禅代之计，因谓建绪曰：“且踌躇，当共取富贵耳。”建绪自以周之大夫，因义形于色曰：“明公此旨，非仆所闻。”帝不悦。建绪遂行。开皇初来朝，上（隋文帝）谓之曰：“卿亦悔不？”建绪稽首曰：“臣位非徐广，情类杨彪。”上笑曰：“朕虽不解书语，亦知卿此言不逊也。”
公元581年，周静帝宇文阐让帝位于杨坚，北周亡。杨坚建立隋朝，为隋文帝。荣建绪兼始、洪二州刺史，俱有能名。
荣毗在隋朝历任殿内少监、华州长史、蒲州司马，刚正不阿，抵抗汉王杨谅之乱有功，官至治书侍御史。仁寿四年去世，追赠鸿胪少卿。详见《北史》：荣毗隋开皇中，累迁殿内局监。时以华阴多盗贼，妙选长史，杨素荐毗为华州长史，世号为能。素之田宅，多在华阴，左右放纵，毗以法绳之，无所宽贷。毗因朝集，素谓之曰：“素之举卿，适以自罚也？”毗答曰：“奉法一心者，但恐累公所举。”素笑曰：“前言戏耳。卿之奉法，素之望也。”时晋王（杨坚次子杨广）在扬州，每令人密觇京师消息，遣张衡于路次往往置马坊，以畜牧为辞，实给私人也。州县莫敢违，毗独遏绝其事。上闻而嘉之，赉绢百匹，转蒲州司马。汉王谅（杨坚五子杨谅）之反也，河东豪杰以城应谅。刺史丘和觉变，遁归关中。长史渤海高义明谓毗曰：“河东国之东门，若失之，则为难不细。在中虽复匈匈，非悉反也。但收桀黠者十余人斩之，自当立定耳。”毗然之。义明驰马追和，将与协计。至城西门，为渤海所杀，毗亦被执。及谅平，拜书侍御史，帝谓曰：“今日之举，马坊之事也。无改汝心。”帝亦敬之。毗在朝侃然正色，为百僚所惮。后以母忧去职。岁余，起令视事。寻卒官。赠鸿胪少卿。
大业三年，隋炀帝敕曰：御史府不置大夫，则中丞实为之长。总率一属董正朝纲风宪之司耳，目所寄任尤峻必惟其人。御史中丞荣毗，趋操端方，器度凝远。有劲直之气，足配昔人之贤；有敏达之才，足周当世之务。顷由刺史擢贰臺端。屡陈忠谠之言，助予视听之广。议论鲠亮，朋党坏植而散群；弹劾公方，奸邪心沮而胆落。蔽自朕志进由南司，以明因任之方，以肃纲纪之地，尔其推明法律，纠正官邪，进思尽忠，无惮大吏，则予一人以咨，尔亦有无穷之功。
史实充分说明，南北朝时期的荣氏家族，自荣诗言、荣权、荣建绪和荣毗，始终为北朝人臣。
