因地处汾河之阳而得名的汾阳，自古就是晋西名城。远古时代，汾阳一带是波光粼粼的晋阳湖。汾阳位于晋中盆地的西沿，处于古晋阳湖的岸畔。
汾州大地的山川和平原的形成，与整个华北有着相同的地质发展。沧海桑田，随着华北地台反复下沉，海水侵入又退出。华北地台从此开始了陆相沉积。距今2.1~0.6亿年，奠定了山西台背斜构造的骨架和地貌基础，汾阳西境和北境也在这个时候定型。到距今2300万年前的新生代喜马拉雅运动的影响下，形成了汾河地堑。
由于暴雨洪流冲刷，汾阳西北境山地形成的黄土，向县境东南淤积，逐渐形成县境东南的洪积冲积平原。黄土覆盖区由于洪水切割严重，呈现梁峁状地带。逐步形成了汾阳县山区和平川的这个二级阶地。
汾阳城东北方向的新丰村一带的河槽内，岩石层中发现很多古生物化石，以前当地人常刨出龙骨当药材卖。1957年，打深井时挖到一块“三趾马”化石，三趾马大约生活在2500万年前。
1981年在桑枣坡遗址上，发现一批生物化石，经专家鉴定为纳马象化石。纳马象属于旧石器时代中期动物。
汾阳峪道河，原称为禹导河，传说大禹治水就曾在汾阳一带活动过，峪道河保存了大量丰富的古迹，从南崖底村、李家沟、王圪塔、田褚一带断层上，曾发现大量石器和陶器。属于仰韶文化。
另外杏花东堡新石器遗址和三泉镇段家庄遗址也曾发掘大量陶器，同属仰韶文化。
汾阳城东昌宁宫庙原祀治水的汾神台骀，台骀，元冥之少子也，能业其官，宣汾洮，障大泽，以处太原。帝用嘉之，封诸汾川。
汾阳城西有绵延二十里的万户山，高八十丈，据古《山川记》载:尧时洪水，诸山皆没，唯此巍存，济者万户，故名。
