春秋周定王十三年（前594年），晋国始置瓜衍县；唐贞观元年（627年），唐太宗敕赐改永安县为孝义县；
唐武德三年（620年），于今市区西南33千米王庄堡村别置高唐县，属北温州。贞观元年（627年），废高唐县，因永安县名与涪州的永安县（今重庆市奉节县）重名，遂产生更名之议。因邑人郑兴“割股奉母”，孝行闻于朝，于是唐太宗李世民勒赐改永安县为孝义县，属汾州，改郑兴所居的故里为“孝义里”。另据《读史方舆纪要》载，县名以县境有孝水和义水得名。宋太平兴国元年（976年），为避太宗赵光义名讳，改中阳县。太平兴国二年（977年），太宗改名，县复称孝义。
孝义古城记载最早的为:“战国周贞定王二十三年(公元前446年)建大城于城东南。”大城即平周城，也即是孝义古城，是魏文侯接任魏桓子之位的前一年所建。平周城筑城以夯土修筑。据有关史书记载，春秋战国时大部分城墙分段夯筑，墙基宽约在十米以上，高四至七米，最高处近十米。平周城呈方形，城周围留有四门。平周城外按史书记载，当有月城配建在城门外，以保城内安全；城门外建月城多与风水有关，有的忌在城墙正中开门，只好以月城而避开正门等。元魏孝静帝武定元年“烽燧有警，大城不保，移筑子城西北隅。
孝义县城今吕梁市孝义市老城，城池选址，建于孝河水系环绕，建于明代；现中阳楼建于清宣统元年。周长四里十八步，高2.7丈，开四门，另外西、南边扩展有两重关城。
清孝义县城，图片源于网络
方志载城墙周边从地面至顶高三文余基厚两丈，内土外砖，墙身顶砌躲墙、高七尺、城墙四周设躲口七百五十二。城墙四方建有城门、除南门系单门外、东西北门建有瓮城，齐为双城门；四处城门顶都建有三层高的门楼，城墙四角建有二层高的“角楼”，环城墙每数十步还建有一座“戍楼”（亦称敌楼，箭楼）共有31座。在城墙外，周边10米之处，环城筑有宽两丈深七尺的护城河，成为护城的一道低窐御敌屏障。
清光绪六年的《孝义县志》中的“城池四关”中说：二十九年(1885)知县谢逢昌重建南门，立碑于楼上……。咸丰三年(1853)知县吕传綮莅任重修北门，旋因寇警，起意重修城垣，集邑之村庄富室，激以大义，各令捐资，始于三年八月，告竣于八年十月，凡四阅寒暑而后成……城外四面皆有关。西、南、北三关俱有稍门，唯东关无门，南关附城筑土墙二层，如外城状。明嘉靖时守道于公寇警所筑……下为润民渠所经，今渠废已久，渠道拥塞。渠上有桥，桥上有楼，曰"望胜楼"。其南北分居民为桥南北厢。由望胜楼南行半里许，有“解阜楼”。楼南数十步则南稍门，今已堵塞，车路由东而南。城西附城亦筑土墙，起城西稍，北绕西部门外，接连城南土墙，不知何时所筑。孝义居民西南城外尤为栉密，乃昔之悍蔽，虽屡经修筑，奈孝河不时涨溢，今皆倾圮过半矣。西稍门外有横堰，不知所始，障水北行，使不为城患。乾隆三十三年(1768)，知县邓必安督里重修……西南有护城大堤，起正西，绕城南而东，亘七里许，高厚二丈余不等，前明万历间知县孟道溥创始以捍水患……今所谓柳堰是也。城北有关，关外有北堰，不知何时所筑。同治七年(1868)、十二年(1873)，二次被县西北之水所淹，今则居民已迁徙大半。城东已有关，屡遭水患，居民不知昔年之盛。县西百余里，重山叠阜，直趋县治。西山诸水淫雨多暴涨，五六月尤甚，故以西堰障水北流，以柳堰障孝水南绕趋东。但孝河时时此徒近堤，仍间岁役四里九村及六坊厢民，浚河南旧故道，使不为患。
现城存部分护城河，存中阳楼。古城仍然保持了“一主二副”、“内城外郭”、“三口九坊”、“六门八楼”、“九街十巷”的基本格局；
孝义老城虽系弹丸之地，但城内四关各种文物建筑甚多。城内的文物有县衙、永安商场、商务会、常平仓、城隍庙、后宫庙、土地庙、真武庙、文庙、武庙、三义庙、魏王庙、姑子庙、关帝庙、马神庙、龙王庙、太子寺、中阳楼、鼓楼、魁星楼、四贤祠、节孝祠、土地祠、忠孝祠、乡贤祠、文学宫、中阳书院、县义学、道德学社以及历代名人牌坊10多座。
孝义古建分布图，图片@Ralex
