在越南战场上，虽然M16全面取代了M14，使美军在200~300m射程上的火力大为增强，但在进行远距离上的精确射击时，M16则显得无能为力，美国陆军司令部认为急需为作战部队配备一种新型的狙击步枪。1966年，位于岩岛的美国陆军武器司令部、本宁堡的战斗研究司令部和亚伯丁的有限战争委员会与美国陆军射击训练队一起共同研究新型的狙击步枪。
他们将所有能使用的军、民用枪与各种瞄准镜和枪弹配合使用，并根据他们自己制订的原则标准和精度标准，最后选择了配有莱瑟伍德3-9倍ART瞄准镜的一个精确化的M14NM半自动步枪，并命名为XM21。1969年，陆军的岩岛兵工厂把1,435支M14NM步枪改装成XM21狙击步枪，并提供给在越南的美国陆军和海军陆战队的狙击手使用。
将M14步枪精确化主要是进行以下几项改进，首先当然是选用重型比赛枪管，其次是选用一个合适的瞄准镜，当然还要改进发射机构，因为一个平稳而敏感的扳机对于提高单发射击精度是极为重要的，最后就是选用精度高的枪弹，XM21所配用的是盐湖城武器弹药厂生产的M118比赛弹，弹头得173格令，初速810m/s，弹道比7.62mm北约标准弹低伸，接近.30-06弹。
最初的M21枪托由核桃木制成，用环氧树脂浸渍，后来改为玻璃纤维护木。开始时，M21配用的瞄准镜是只有2.2倍的M84瞄准镜，由于使用效果不理想，很快就更换为詹姆斯·莱瑟伍少尉设计的3~9倍的ART瞄准镜，瞄准镜座也是莱瑟伍德设计的。
1969年12月后，XM21已经被非正式地称为M21，不过直到1975年才正式定型为M21。在整个越战期间，美军共装备了1,800支配ART瞄准镜的M21。在一份美国越战杀伤报告中记载，1969年1月7日至7月24日半年内，一个狙击班共射杀北越军1,245名，耗弹1,706发，平均1.37发弹杀一个目标。
M21的消焰器可外接Sionics消声器，该消声器不会影响弹丸的初速，但能把泄出气体的速度降低至音速以下，使射手位置不易暴露。在越战中，美军狙击手就经常采用一种被称为“Silent Death”的战术，他们在夜间行动，事先埋伏在水稻田里，使用Sionics消声器和夜视瞄准具射击200~300米距离上的目标，并发射一种初速小于330m/s的亚音速步枪弹。关于Silent Death有这么一个战例：一个班的北越士兵在深夜沿着小树林潜行，突然领头的倒了下去，他们都有作战经验，立即卧倒并滚到沟里去。大约15分钟后，另一个北越士兵起来去捡死者的枪，结果又倒了下去。于是传出了美国人使用了激光武器和制导枪弹。
