明永乐年，朝廷将明初设在京北坝上和坝下地区的兴州五个卫南迁内地。原地弃留给蒙古朵颜、兀良哈卫管辖，其中就包括今怀柔北部的山地。而草原民族习惯无拘无束的游牧生活，所以今汤河、白河川谷地带在很长时间仅是蒙古部族春来秋去的游牧渔猎之地。
明中期，朝廷曾明令禁止蒙古各部在长城边外二百里范围内驻牧。并长期派遣“明哨”或暗哨“夜不收”按季节出关巡哨。一拨明哨兵马每次出关15天左右。明代文牍中出现的，在今怀柔境内的磕磕汰、鞍子岭、庙儿岭、黄石崖、阿只八哈（安州坝）等，都是明军临时露营或驻哨之地。
明崇祯末年，察哈尔小王子额哲降附后金。居住在怀柔山地的少量“汉夷丁”由后金派军事头领管辖。再后由后金蒙古衙门专管。清顺治元年，包括怀柔北部山地在内的长城以北地区归清廷内属，被圈划为八旗牧马山场，禁止开垦种植。康熙初，山西、山东、河北大量流民违禁出关，汤、白河川人口有所增长。
清代前期在汤河口一带出现过三次人口聚集。清初，为缓解八旗在关内因圈占土地中的矛盾，朝廷反复颁旨，在关外汤河、伊逊河等地建立旗营、粮庄。此时部分曾经入关的满人以及所属的汉族家人，再次出关，来到汤河川。康熙、雍正年间，也有一些山东灾民冒死违令出关谋生者。至乾隆中期，山东灾民以及其他关内失地农民开始大量出塞，势不可挡。
康熙八年四月，皇帝谕令户部：“永远停止圈占（关内）房、地，旗人无地亦难资生者，应以古北口外空地拨给耕种”。康熙中期，朝廷圈占山场，以“口外空荒之地”封赏宗室旗人。山西、山东、河南、京畿等一些失地贫民便作为庄丁、庄户出关为庄主、庄头开垦山地。期间的康熙三十九年，今宝山寺、汤河口、琉璃庙的部分山场以及河滩地被恩赐给温宪公主。公主府庄设宝山寺。
雍正二年，朝廷“清查八旗存留牧場地，凡可耕者均募民開墾”。
雍正十二年，朝廷根据张家口、古北口等处地方关于“开放边口”的申请，命兵部发布了，内地居民可以凭“边口出入票”出入边口进行“樵采、买卖、耕种、佣工”的“关票令”。
内地沿边各州县官，可根据兵部的“票令”，对申请出、入边口者，查明身份，每年发给一次“出关印票”。在发“出关票”的同时，州县对申请人的年龄、相貌、姓名等登记造册，移交给本州县所属关口的守口官兵。待有人持票出关时，关口的官兵须将票内的姓名年貌与登记册对照相符，不符者既不许出入关口。如果守口官吏或负责验票的兵丁有索贿、出入关口民人有夹带违禁货物、或偷偷穿越已经封堵的边关者，必须立即捉拿，按律治罪。
各州县官对责任关口官员要经常查、察。如有不认履行检查责任、有守口兵丁不按规定严格稽查，而造成奸人、土匪蒙混出入关口以及有人夹带违禁货物、私自偷越已经堵塞的偏僻关口者、或借辞刁难索贿者以及明知违禁而故意放纵者。要参照相关法律及时上报并追究。
另外，各州县要将本年度所发放“出入关票”的数量，与守口官丁实际放行的数目，在年底前造册上报。以上这些规定，反映了雍正年间有限开放山禁的大体情况。
自雍正朝廷实施有限度开放山禁后，到乾隆中期“山禁”已彻底放开。由此长城以南贫民陆续出关择地求生现象，一直延续到清末。
雍正年随着“关禁”渐弛，更多流民举家落脚于“庄主”、“旗主”所属的各个沟谷，佃租旗地或垦荒谋生。汤、白河川的满、汉人口迅速增长。一族数户，几户一聚，分居山谷，旗民杂处，渐渐就有了出租典地时的矛盾和山权地界之争以及匪盗之患。所以急需治安、民政管理。随之，“喀喇河屯理事通判厅”就在汤河口设置了派出机构——“驻西河巡检司”。
乾隆三十九年，乾隆皇帝在两间房行宫发布谕令：“方今中外一家，间有民间出口某食者，乃自然兴衰之道，地方官非惟不必讳”，并饬有司，“勿许拦阻贫民出口，若系欲赴口外就亲觅食者，应各从其便，不必强为阻留”。
乾隆时期山禁彻底放开后，出关谋生的流民逐年增加。当时，用乾隆皇帝的话说：“热河本无土著，率山东山西迁移来者”；“口外隙地甚多，直隶山东山西人民出口耕种谋食者岁以为常。今中外一家，口外仍系内地小民出入原所不禁，一转移间，而旷土游民兼得其利，实为从古至今未有也。”
由于出关流民逐年增长，今怀柔山地很多村庄都是这一时期聚落而成的。比如，张姓等族户自山东来到东帽湾西孤石沟谷驻足，并从沟口由外向内开辟垦殖。山西人刘喜高一家来到了宝山寺租种镶黄旗山地。数年后刘姓第二辈，刘朝臣被补为佟府庄头，因主家地多、路远，老大刘朝臣，让胞弟刘朝文携家口去管理东帽湾、庄户沟门的山场地。
小梁前、银河沟、黄花甸子、许营、大栅子的山地多属于满族彭姓家族。最初来此定居、佃租旗地者为冯、吴姓民户。其后又有金姓、任姓、于姓、柳姓、许姓、崔姓、孙姓、郭姓等民户自山东登州文登、扶山等地迁入。今天汤河口镇河东村大多数村民的先祖也是清乾嘉时期来自山东。
另外，今怀柔山地除了清初和中期的三次比较集中的人口聚居，在整个清代，一直有长城以南的人户，零零落落迁居到山地。
例如，宝山镇温栅子的沈氏家族先是在明初大移民中，由山西迁到蓟、昌长城脚下的民屯户，他们的屯田地就在今天怀柔区西部的北宅一带。由于北宅村靠近边关，这里的人们祖祖辈辈都承受着屯种、修边、值更等繁重的徭役。到了明末清初以后，饱经兵燹的沈姓先民又遭清兵入关后的“圈地”之祸。清康雍年间，沈叶一家，在失去房屋土地以后，不得不背井离乡。沈家人一路向北，沿着燕山沟峪，攀山梁、走河谷，食野果，饮山泉，历经数月，终于来到了一处有着榆树林的谷地。这里树木深浓，水源丰富，可垦阶地多。而且在向阳的坡地上，还残留着几处游牧人用各种杂木围起的旧栅栏。沈叶一家就在一个地势较为开阔的台地上停下了脚，并选择了一处向阳的，生有一株大榆树的围栏，作为落脚点。从此就在大榆树旁，搭窝棚、建房屋，开荒地、蓄鸡犬，开始了他们的山地生活。
长哨营乡三道窝铺的王姓家族于乾隆中期来自山东。当初，出关的王姓家族有两支，另一支已于此前在石门坑（卜营）落脚。据今村民王振义介绍，其家族姓字排列为“仁德福殿振九州，荣华富贵誉满堂”。到现在应排到“富”字辈了。
三道窝铺的宁姓家族、四道窝铺的刘姓，以及汤河口河镇河东村“瓜园”的住户，都是道光初年由关内密云迁至。清初，密云大部分土地都被圈占为皇粮庄或作为份地划拨给八旗驻防官兵，民人瞬间失地。这些民人多是明代由山西迁入密云移民的后代，到清代又遇到土地兼并，人们不得已只得逃荒于关外的深山老沟。
很多村史可证明，清中期的很多迁入者多是关内密云、怀柔等地的贫民。例如，密云县赶河厂郭姓，在乾隆末期，因失地无业逃荒至汤河口镇黄花甸子。同镇东湾子村的郑姓族群，祖籍是山东，明代关内民屯户，清代中前期迁居山地。东帽湾村的果姓来自今北房镇的小周庄。琉璃庙镇狼虎哨的王姓是清雍乾时期自关内的驸马庄和黄吉营迁入定居的。再就是清咸丰年间，因丰宁大阁、窄岭金矿大暴乱，一些山东籍矿工携家带口向南越过北大梁，最后在宝山寺一带定居至今。
