爬虫 | Python爬取某平台杭州二手房数据

科技科技 2024-07-02 08:10 天津

点击上方"蓝字"，关注"Python当打之年"

后台回复"1"，领取众多Python学习资料

大家好，我是欧K~

本期给大家分享一下如何用python爬取某平台杭州二手房数据，包含行政区、标题、房屋信息（户型、楼层、朝向、年份）、地址、地铁、房价（总价、单价）等几部分信息，希望对大家有所帮助，如有疑问或者需要改进的地方可以联系小编。

可视化部分见：

【Pandas+Pyecharts | 杭州市二手房数据分析可视化】

所有内容仅供参考，不做他用。

1. 网页分析

目标网址(房天下：https://hz.esf.fang.com)，分析区域信息和二手房房屋信息：

如果不分区域的话一共是100页数据。

接下来，按 F12 或者右键选择审查元素，搜索行政区：拱墅

这里我们可以看到所有行政区列表数据。

接下来搜索第一条信息望江 · 海潮御品公寓：

同样这里可以看到房屋信息的各项数据。

那么我们可以根据行政区来爬取整个杭州市的数据了，根据行政区爬取数据会相对多一些。

2. 爬取数据

2.1 导入模块

import time
import requests
import pandas as pd

2.2 请求网页数据

def get_data(cookies,headers,filepath):
    screen_dict = get_region()
    adrs = list(screen_dict.keys())
    print(adrs)
    for adr in adrs:
        print(f'当前爬取行政区：{adr} 第 1 页 ')
        url_1 = f'https://hz.esf.fang.com{screen_dict[adr]}i31/'
        print(url_1)
        onepageinfo,pages = get_first_page(url_1,cookies,headers,adr)
        if onepageinfo:
            insert2excel(filepath,onepageinfo)

2.3 解析数据

def get_onepage(url_one,cookies,headers,adr):    
    response = requests.get(url_one, cookies=cookies, headers=headers)
    soup = BeautifulSoup(response.text,'html.parser')
    house_list = shop_list.find_all('dl')
    onepageinfo = []
    for shop in house_list:
        tit_shop = shop.find_all(attrs={'class':'tit_shop'})[0].text
        tel_shop = shop.find_all(attrs={'class':'tel_shop'})[0].text
        add_shop = shop.find_all(attrs={'class':'add_shop'})[0].text
        label = shop.find_all(attrs={'class':'label'})[0].text
        price_right = shop.find_all(attrs={'class':'price_right'})[0].text

2.4 获取总页数

这里需要注意，每个行政区数据量不一样，也就是页数不一样，所以需要先解析出来当前行政区有多少页数据：

soup = BeautifulSoup(response.text,'html.parser')
pages = int(re.findall('共(\d+)页',soup.find_all(attrs={'class':'page_al'})[0].text)[0])

2.5 保存文件

def insert2excel(filepath,allinfo):
    if not os.path.exists(filepath):
        tableTitle = ['行政区','标题','房屋信息','地址','地铁','房价']
        wb = Workbook()
        ws = wb.active
        ws.title = 'sheet1'
        ws.append(tableTitle)
        wb.save(filepath)
        time.sleep(3)
    wb = load_workbook(filepath)
    ws = wb.active
    ws.title = 'sheet1'
    for info in allinfo:
        ws.append(info)
    wb.save(filepath)