高洋死后，北齐政局不稳，皇帝更迭频繁。至后主高纬时，国家的元气已经大伤。这个不知死活的皇帝，却整天和歌伎舞女们泡在一起，人称“无愁天子”。
那时，北周武帝诛杀了权臣宇文护，开始采取有利于富国强兵的措施，释放奴婢、变杂户为平民；制定《刑书要制》，约束地方的豪强势力。其中最重要的一项就是灭佛。
早在北魏时期，佛教就很兴盛。到武帝时，已有佛寺一万多座。依附寺庙的农户，数量多得惊人。和尚、尼姑，不事生产，还享有国家给予的种种特权，成为一个特殊的剥削阶层。
建德三年（公元574年），周武帝采取断然措施，下令没收各地僧侣地主和寺院的财产；销毁铜佛和各种铜制祭器。青壮年僧人令其还俗，或编入军队服役，或分给田地，令其从事农业生产。周武帝灭佛，是“求兵于僧众之中，取地于庙塔之下”的富国强兵举措。它相对地减轻了农民的负担，增加了国家的财富。北周社会从此呈现一派兴旺发达的景象。
建德四年，北齐遭到陈朝和北周的两面夹攻。陈朝攻陷彭城，直逼吕梁；北周攻占河阴后，连下三十余城。后因亲征的周武帝中途染病，北齐政权才得以幸存。
第二年冬天，周武帝又命隋国公杨坚领兵围攻晋州（州治在平阳，今山西临汾）。 告急文书雪片般飞向京城，高纬置若罔闻，竟带领宠妃冯小怜去天池狩猎。丞相高阿那肱怕打断他的游兴，直到晋州陷落，才把真实情况告知他。
平阳是高氏发迹之地，祖宗陵寝所在，又是军事重镇，这位“无愁天子”得知消息，先是大发雷霆，责怪守将不力，接着一反常情，紧皱双眉，一言不发，时不时长叹几声。这时，冯小怜轻移莲步，曼转秋波，靠在他身上笑着说：“陛下疆域辽阔，丢了一个小小的晋州，算得了什么。胜败乃兵家之常事，既然丢失晋州，难道就不能重新夺回吗？”高纬一听，觉得还是爱妃心思活络，又喜形于色，先前的满脸愁云消散得无影无踪。
北齐隆化元年（公元576年）冬天，高纬自己统率大军，反攻晋州，将平阳围得水泄不通。北周守将梁士彦虽然兵少，仍率众拼死抵抗，打退了北齐军队的多次进攻。齐军见久攻不下，暂时撤离前线，准备稍事休整，发起新的进攻。
梁士彦抓住齐军撤退的时机，组织军民日夜奋战，不到三天时间，被摧毁的城墙又全部修复。硬攻不成，齐军士兵开始挖掘通向城内的地道。梁士彦很快侦得齐军的动向，便命部队把护城河中的水倒灌进去。齐军来不及撤退，许多人被活活地淹死在里面。这时，周武帝统率的8万援军赶到了晋州。
此前，齐军为了防御北周增援部队的突袭，早在城南挖好了一条深沟，宽数十丈。东起乔山（今山西临汾东），西至汾水，周军难以逾越。大将宇文宪抵达晋州，便在沟南摆开阵势，绵延二十余里。
高纬望见南岸阵容整肃，旌旗蔽空，心里已有几分恐慌，对右丞相高阿那肱说：“晋阳久攻不下，我看还是撤兵的好。”
高阿那肱答道：“陛下所言极是。”武卫将军安吐根强烈反对。他大声嚷道：“原来丞相是个贪生怕死之辈。北周士兵远道而来，精疲力竭。别看他们整天大喊大叫，其实是虚张声势。如果让我出战，不须几个回合，定将他们斩尽杀绝！”一群胸无点墨的太监也跟着叫嚷。他们说：“北周也是天子亲征，难道我堂堂的大齐皇帝，就望风逃跑吗？”
经大家一番怂恿，高纬决定填平沟堑，摆开阵势，准备同北周军队决战。宇文邕得到消息，心中大喜，指挥部队向北岸的齐军猛烈进攻。
这时，高纬和冯小怜骑着高头大马，在山坡上欣赏两军厮杀的场景。双方刚一交锋，冯小怜竟一声尖叫：“敌军杀过来了！”早就失去斗志的齐军闻声，纷纷向后败退。
高纬见齐军乱了阵脚，立即调转马头，带着冯小怜一溜烟儿向高粱河方向奔跑。
“皇上贪生怕死，大军哪有不败之理！”将士们议论纷纷。大臣奚长策马跟在后面，想劝阻高纬，边跑边喊。此时的高纬已成了惊弓之鸟，全然不顾给战局带来的严重后果，一个劲儿地狂奔，连头也不回一下。
齐军终于大败，死伤1万余人，丢弃的辎重堆积如山。宇文邕把防守晋州的重任交给了梁士彦，对他说：“守住晋州，是平定北齐的根本。有你守在这里，我就没有后顾之忧了。”
他又指挥大军，乘胜攻克了晋阳，活捉了高纬的堂兄安德王高延宗。晋阳失守前夕，高纬准备潜逃出城，投奔突厥，被左右劝阻，带领少数侍卫回到邺城。
高延宗被擒后，宇文邕以礼相待，在齐军中引起了很大的反响。高纬则不知收买人心，激励将士。他回到邺城后，将领请他到部队劳军。他带着写好的诏书，还没开口，一看将士们表情严肃，早已把要说的话忘得干干净净。
将士面面相觑，感到失望，他们说：“皇帝都不把江山当回事，齐朝亡了，与我们何干！”从此，人心日益涣散，将士有的解甲归田，有的临阵倒戈。
高纬见大势已去，便把帝位传给八岁的儿子高恒，过起无忧无虑的太上皇生活。
北齐承光元年（公元577年）正月，宇文邕的大军开抵邺城。高纬惊慌失措，连忙带领幼主以及宠妃冯小怜，由少数骑兵护卫，逃至济州（今山东茌平），命丞相高阿那肱扼守关塞，抵御北周骑兵追杀，自己则催马南逃，准备投降陈朝。谁知到了青州（山东青州东），被投降北周的高阿那肱等人追上，在南邓村（山东临朐西南），全部当了北周的俘虏。北齐灭亡。
