批量爬取招聘网站上工作岗位的招聘信息

文摘   教育   2024-03-30 22:23   广东  

不管是学生还是工作的小伙伴,估计都对不同岗位工作几年的薪酬水平比较感兴趣。

本文提供爬取招聘网站,获取某类工作招聘信息的实现逻辑和代码。

具体的实施步骤是:明确爬取的招聘网站—确定爬取的工作城市—确定爬取的岗位—获取岗位的招聘子链接—获取岗位招聘信息。

本文以爬取Boss直聘在广州的风控建模岗为例,进行代码说明。如果需要爬别的城市其他工作岗位,直接把名称改一下即可。

如有不熟悉爬虫的朋友,想了解某个工作岗位,可以在文后留言或私信我,在空余时间我可以帮忙实现一下。

本文目录
  1. 爬虫效果

  2. 导入库

  3. 登录Boss直聘网

  4. 完成工作城市切换

  5. 确定爬取的岗位

  6. 获取岗位的招聘子链接

  7. 获取不同子链接的岗位信息

  8. 封装成函数的全量代码


一、爬虫效果

先来看下本文代码实现效果,具体如下

****************************************招聘中风控算法工程师(大模型,内容安全方向) 30-55K广州 5-10年 本科感兴趣 立即沟通完善在线简历新增附件简历...五险一金补充医疗保险定期体检全勤奖年终奖股票期权带薪年假员工旅游免费班车通讯补贴交通补助包吃节日福利住房补贴零食下午茶====================职位描述微信扫码分享举报风控/安全策略经验大模型内容安全岗位职责:1、负责公司大模型内容安全、隐私安全等业务风险领域的治理方案和相关风控模型开发2、针对不同的业务场景,选择合适的算法,进行训练和优化,推动算法落地并持续迭代岗位要求:1、本科以上学历,至少3年业务安全、内容安全等策略经验2、有过隐私数据识别项目经验优先3、对数据敏感,具有较强的逻辑思维和数据分析能力,掌握数据分析工具sql和excel等4、熟悉数据科学、机器学习、社群挖掘的相关知识,有成功实践的算法项目覃女士3日内活跃唯品会·招聘主管****************************************招聘中风控算法工程师 25-50K·14薪广州 5-10年 本科感兴趣 立即沟通完善在线简历新增附件简历...团建聚餐零食下午茶员工旅游带薪年假股票期权绩效奖金年终奖五险一金====================职位描述微信扫码分享举报Python岗位职责:1、独立完成建模方案设计、模型开发及部署,运用各类算法开发包括营销响应、流失预警等营销模型及反欺诈规则、申请评分、额度模型、行为评分、催收评分等风险模型,并对现有模型进行优化完善;2、配合商务进行客户需求沟通、方案讲解及咨询支持,对客户提出的业务痛点提供有效的解决方案及量化的决策建议;3、充分了解客户业务端审批流程及风险表现,结合用户特征,制定或优化贷前、贷中及贷后风控策略;为客户提供用户分层筛选、差异化营销手段等策略建议;4、根据客户需求,独立带领项目成员进行咨询项目的实施,包括方案设计、项目计划安排、实施过程管理、项目质量把控、报告撰写及交付汇报;5、其他创新探索工作:深入挖掘用户行为序列数据,设计特征维度框架及指标体系结构,进行特征开发;探索如图算法等创新算法实践及应用,并进行充分工程验证后推广应用在已有业务中。岗位要求:1、本科及以上学历,数学、统计学、计算机等相关专业优先;6年以上银行、持牌消金、头部互金、金融科技公司模型及策略相关工作经验;2、至少能熟练使用Python/Spark/R其中一种分析及建模工具,数据挖掘及建模经验丰富,能够有效利用LR、XGBoost、LightGBM等机器学习算法以及神经网络等深度学习算法构建特征与模型;3、对零售信贷市场、信贷产品形态有一定的认知度,对全生命周期风控管理流程有深刻的理解,并掌握各环节的风控要点及风控策略制定逻辑;4、具备独立思考的能力,逻辑严谨,对数据敏感,善于发现. 探索并解决问题,自我驱动力强;5、具备较强的抗压能力,踏实、勤奋、细心,愿意并乐于接受新尝试、新挑战,探索创新主动性强。郭先生3日内活跃至久科技·运营总监****************************************招聘中风控算法工程师 23-35K广州 5-10年 本科感兴趣 立即沟通完善在线简历新增附件简历节日福利带薪年假股票期权年终奖定期体检五险一金====================职位描述微信扫码分享举报PythonSQL风控/安全策略经验计算机相关专业金融机构策略开发/建模经验1、本科以上学历,计算机、统计学、人工智能等相关专业优先。2、熟悉数据科学相关方法,可以将具体业务目标转化成技术目标、可以完成对实现项目增益目标所需要的数据分析挖掘、建模、A/B实验设置的整体方案设计,并可以为最终业务成效负责。3、然悉多种主流算法:GBDT/ESMM/XGBO0T等,熟悉分布式计算框架,如Hadoop、Spark,至少掌握一种深度学习框架:TensorFlow。4、有一定自动化建模、自学习等方面的相关经验,可以设计实现通过特征衍生自动挖掘关联表的有效特征信息,获取全面特征,有一定能力解决实际建模时:数据缺失、数据不平衡、小样本数据、特征抽取等相关瓶颈问题。5、有财富领域/营销领域相关数据分析、建模领域实践项目经验优先张女士3日内活跃同盾科技·HR****************************************招聘中高级风控建模师 20-30K广州 3-5年 本科感兴趣 立即沟通完善在线简历新增附件简历...五险一金加班补助年终奖员工旅游通讯补贴交通补助节日福利零食下午茶团建聚餐带薪年假====================职位描述微信扫码分享举报SQLSASJava消费金融行业风控建模风控模型岗位职责1、负责数据分析工作,挖掘数据价值,拟定各种业务主题的数据分析方案和流程;2、根据业务目标,负责开发应用于贷前审批、贷中监控、贷后催收、反欺诈等业务的数学模型;3、负责数据质量和模型性能监控体系搭建的相关工作;深度挖掘用户数据,建立用户画像,设计风险评估模型,控制信贷风险。任职要求:1、本科及以上学历,3年以上相关行业工作经验,对风控有实际操作经验,理解风控策略和模型,熟悉策略分析的相关方法;2、具有数据处理、分析或建模经验,具备消费金融行业从业经验者优先;3、熟悉掌握SQL/SAS/R/Python/Java等至少一种数据分析工具或语言工具;4、熟悉基础数据挖掘模型,如回归、决策树、SVM、神经网络等算法5、文字能力及表达能力强,具备跨部门沟通能力,具备较强分析解决问题能力。宾女士刚刚活跃智租·HR****************************************招聘中3D原型建模 15-30K广州 经验不限 学历不限感兴趣 立即沟通完善在线简历新增附件简历====================职位描述微信扫码分享举报动漫游戏3ds MAXMAYA不接受居家办公机甲建模优先条件:1.美术绘画及设计专业优先、有本岗位3年以上工作经验优先。2. 热爱机甲模玩,具备良好的团队精神和自我驱动力,高效的执行力;3. 熟练使用Blender/ZBrush/3DsMax/等3D设计软件, 具备基础的3D全流程工作能力;4. 具备良好的概念原画理解能力、造型能力以及高质量的机甲审美能力,能制作出符合项目要求的3D原型;5. 会使用C4D卡通渲染的优先,擅长二次元动漫人型建模者优先 。6. 面试简历中请附带几张作品。加分项有以下行业经验:游戏·玩具/礼品任绿柳刚刚活跃东秀·人力资源部
为了篇幅不太长,影响阅读,以上只展示爬取的部分信息。其中*和*之间框起来的部分是同一个岗位的招聘信息。
后续文章会用正则化处理,把以上内容处理成变量的形式,做一些统计分析展示,再分享给大家。

二、导入库

首先导入需要用到的库,具体如下

import timeimport randomfrom captcha import * from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import waitfrom selenium.webdriver.common.keys import Keysfrom selenium.common.exceptions import NoSuchElementExceptionfrom selenium.webdriver.common.action_chains import ActionChainsfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.ui import WebDriverWaitfrom webdriver_manager.chrome import ChromeDriverManagerfrom selenium.common.exceptions import NoSuchElementExceptionfrom selenium.webdriver.common.action_chains import ActionChainsfrom selenium.webdriver.support import expected_conditions as EC
如有未安装库的小伙伴,自行百度安装一下。


三、登录Boss直聘网
接着登录boss直聘网,代码如下:
browser = webdriver.Chrome(ChromeDriverManager().install())#安装chrombrowser.maximize_window()#最大化窗口login_url = 'https://www.zhipin.com/chengshi/c101281000/?sid=sem_pz_bdpc_dasou_title'#网址browser.get(login_url)#登录网址

登录后可看到如下页面:

如在爬虫过程中弹出来登录信息,可手动输入手机号获取验证码登录,不影响后续爬虫。


四、完成工作城市切换

接着通过xpath路径的方法完成城市切换,具体代码如下:

input_city_name =  '广州'#输入查询城市browser.find_element_by_xpath('//*[@id="header"]/div[1]/div[2]/p/span[2]').click()time.sleep(5)input_city_type = browser.find_element_by_xpath('/html/body/div[5]/div[2]/div[2]/div[1]/div[2]/div/input')input_city_type.send_keys(Keys.CONTROL, 'a')input_city_type.send_keys(input_city_name, Keys.ENTER)browser.find_element_by_xpath('/html/body/div[5]/div[2]/div[2]/div[1]/div[2]/div/ul').click()#完成城市切换


五、确定爬取的岗位

接着输入待爬取的岗位名称,具体代码如下:

input_job_name = '风控建模'#输入查询岗位input_job_type = browser.find_element_by_xpath('//*[@id="wrap"]/div[3]/div/div[1]/div[1]/form/div[2]/p/input')input_job_type.send_keys(Keys.CONTROL, 'a')input_job_type.send_keys(input_job_name, Keys.ENTER)#time.sleep(5)

六、获取岗位的招聘子链接
接着写循环批量获取岗位的招聘子链接,具体代码如下:

阿黎逸阳的代码
阿黎逸阳,分享大数据和人工智能领域知识,提供风控建模干货经验。 博主履历:世界五百强公司、互联网上市公司、高校、外资银行,多年研究大数据分析、建模以及教学工作。
 最新文章