1954年9月15日至28日，第一届全国人民代表大会第一次会议在北京召开。这次会议通过了《中华人民共和国宪法》《中华人民共和国全国人民代表大会组织法》《中华人民共和国国务院组织法》等重要法律，并选举产生了新的国家机构领导人。毛泽东当选为中华人民共和国主席，朱德为副主席，刘少奇为全国人大常委会委员长。
作为第一届全国人大常委会委员长，刘少奇做了许多具有开拓性和建设性的工作，为全国人民代表大会制度的建立、健全、正常运转等作出了重要贡献。刘少奇指出，“人民代表大会制度所以能够成为我国的适宜的政治制度，就是因为它能够便利人民行使自己的权力，能够便利人民群众经常经过这样的政治组织参加国家的管理，从而得以充分发挥人民群众的积极性和创造性”。
如何发挥好人大代表作用，刘少奇进行了许多思考。一是了解民意。1955年1月15日，刘少奇以全国人民代表大会常务委员会委员长名义给全国人大代表发出通知，请代表把在生产中、工作中、社会活动中所了解的情况，以及人民群众向代表反映的问题和代表的意见，随时告知常务委员会。
二是健全机制。为了便于各地人大代表开展工作和及时向中央汇报与反映问题，全国人大常委会向中共中央提出《关于设立全国人民代表大会办公室的意见》，拟在北京、天津、上海和各省、自治区人民委员会所在地以及代表居住人数较多的重庆、青岛、旅大、鞍山等市，由当地省(自治区)、市人民委员会负责设立全国人民代表大会代表办公室。
三是推动代表视察。在全国人大常委会上，刘少奇多次提出，人大代表要分期分批地到地方和基层去视察，人民代表大会要建立经常的视察制度，这样，才能及时了解情况，改进工作。人大代表不仅要视察，还要有计划地定期视察。1955年5月16日，中共中央向地方各级党委和中央各部委党组发出《关于人民代表到各地视察工作的通知》，提出:“中央认为，代表们定期下去视察工作，应该成为党和国家领导机关联系群众、调查研究的一种工作制度。”1955 年8月6日，第一届全国人大常委会召开第二十次会议，讨论和通过了《关于全国人大代表和省、自治区、直辖市人大代表视察工作的决定》。其中规定:全国人大代表和省、自治区、直辖市人大代表一般每年应当视察工作两次。人民代表视察工作时，可以向当地人民委员会、法院、检察院有关人员了解情况，可以列席当地的人民代表大会会议、人民委员会会议，可以接见当地的人民代表，访问人民群众。从1955年下半年到1957年上半年近两年时间里，全国和省级人大代表中的一些同志视察了四次，作为全国人大常委会委员长的刘少奇和副委员长宋庆龄也加入到了视察当中。人大代表视察工作逐渐成为一种工作制度。
四是开展监督工作。刘少奇在人大常委会第39次会议上指出，所有国家工作人员以及共产党员都要群众监督。我们共产党员要有监督，党外人士也是这样，彼此互相监督一下，有好处。1955年4月7日，刘少奇在给全国人大常委会委员张难先的一封回信中写道:我们的国家这样大，机关这样多，绝大多数的干部是好的，但也有少数不好，这是事实。同时，好的干部如果没有经常的监督也可能变坏。因此，对一切国家机关工作人员都应实行监督。” 刘少奇认为，要充分发挥人民代表大会制度的监督职能。1956年6月29日，刘少奇在主持第一届全国人民代表大会第三次会议主席团会议时指出，人代会就是要督促各方面的工作，只许作好，不许作坏。
