微博签到数据的获取思路与实战

文摘   科技   2024-02-29 23:33   中国香港  

    微博在地理信息及相关领域中的应用相当多,特别是在灾害的应急与响应当中,得益于其具有较为准确的经纬度及丰富的图文信息,被研究者广泛的采用,用“Weibo”作为关键字进行检索,可以看到近两年每年都约有1000篇左右的相关文章出版。

    关于微博数据的采集,之前推出过几期文章《城市微博签到数据分享&地址解码与纠偏教程》《北京市含地理坐标的微博数据分享&数据获取方法与科学研究问题》,大家都比较感兴趣,毕竟好的,独有的数据是可以驱动做好的研究的。那么这一期教大家怎么获取微博打卡数据,同样也是无套路分享哦:

    首先我们随便选择一个位置,然后发布一条微博,随后发现这里调用了API,请求了相关地址的地点,解析出地点的经纬度,地点的编码等等。

    于是选择最近莞莞类卿的某校为例,发布一条博文。

    点进去这个小地球,得到下面的地点主页。

    拖拽到主页最后,刷呀刷,捕捉出现的XHR请求,这种属于异步刷新的,相较于传统固定页面,请求新的内容不会整体刷新,大大节省了与服务器的通讯资源。

    其实这个请求蛮简单的hh,大家避免滥用,你好我好大家好。其中武汉大学的POIID是:100101B2094655D464AAFA449D,依次构造请求就好啦,注意一般微博地点往溯最多25页。

https://m.weibo.cn/api/container/getIndex?containerid=100101B2094655D464AAFA449D&page=1

   Cookie的获取还是那么喜闻乐见~

    下面就是无聊的重复构建代码~随便看看获取的数据~直接使用json读取就好啦!

    还有一种是构建超话爬虫,这个也很简单hh,有空下次更新。

+

+

城市感知计算

欢迎扫码关注~

关注最新科研讯息~

城市感知计算
认识世界和改造世界,张岩博士和志愿者团队搭建的非盈利城市科学分享平台,欢迎加好友学术交流。
 最新文章