干货 | 清华Python编程入门分享会第三期

学术 2024-11-05 17:05 北京

本次分享会是由五道口金融学院和大数据协会联合举办的系列讲座，以初级python入门为主，是为非计算机非数据科学专业，但有助于学习编程的同学量身定制的精品讲座。目标是为未来数据分析人才配备先进的编程理念和操作技巧，强化学科研究能力，促进跨学科交流与合作。本次分享会由自动化系博士生陈鹏宇主讲，主题为Python编程在科研实战中的应用。分享会介绍了kaggle平台，这是一个面向数学科学家和机器学习爱好者的在线平台，提供了一系列工具和服务，促进数据科学项目的发展和应用。kaggle平台主要提供了竞赛、公开数据集和学习资源三部分内容，用户可以免费下载这些数据集，用于学习研究或者竞赛。此外，分享会还介绍了kaggle平台的比赛类型、难度和学科领域对应关系等内容。

一、机器学习竞赛操作指南

主要介绍了一个在线竞赛平台，包括比赛介绍、数据、notebooks、讨论、leader board等功能。该平台提供了一个入门环境，让大家熟悉Python进行机器学习的学习流程。比赛的数据集来源于真实场景，如泰坦尼克号灾难，要求根据乘客信息预测他们是否幸存。用户可以通过下载数据集或安装kaggle来获取数据。

二、数据处理与机器学习模型训练

主要介绍了如何在VS code中打开应用code的命令，查看文件夹中的文件。习题没有提交要求，可以提交最终输出结果或脚本。在网页中新建notebook，编辑后上传到服务器端。推荐在本地编程好后再上传结果。接下来介绍了如何解决一个实际问题，包括数据预处理、特征工程、特征选择、使用统计机器学习算法训练模型、验证评估模型性能等步骤。

三、机器学习问题解决步骤与算法选择

主要讲述了如何评估机器学习模型的效果。首先，从训练集中选取一部分样本作为验证集，通过交叉验证来评估模型的分类效果。其次，对于数据中的缺失值，可以选择直接舍弃或根据常识进行补充。最后，介绍了几种常用的分类器，如决策树、K近邻、随机森林等，并提供了在官网文档中查找相关算法的方法。

四、数据预处理与特征选择

主要介绍了如何处理训练集和测试集，以及如何进行数据预处理。首先，将训练集和测试集读入，并打印其形状和特征维度。然后，通过describe函数查看各特征的统计信息，如数量、平均值、标准差等。接着，对数据进行预处理，如去掉字符串变量、填充缺失值等。最后，对字符串变量进行去重和类型转换，以便模型能够正确处理。

五、数据处理与模型训练过程

本段内容主要讲述了如何对数据进行处理，包括使用enumerate函数对不重复的元素进行编号，使用map函数将字符型变量转换为0到1的数，以及将数据类型为字符串或对象的数据转换为0到N-1的数。接着，通过决策树模型对处理后的数据进行预测，并使用交叉验证函数进行模型训练和评价。最后，在训练集上，模型的准确率约为74%。

六、模型测试与结果上传系统操作指南

主要讲述了如何使用模型进行预测，将预测结果转换为pandas的series类型，并将其保存到CSV文件中。接着，介绍了如何在系统中提交预测结果，包括选择文件、查看结果等步骤。最后，提到了在服务器端运行代码，并展示了如何提交代码和查看执行结果。整个过程中，强调了机器学习的核心在于特征工程和数据预处理。

七、机器学习算法优化与实践

主要讲述了机器学习算法在二分类问题上的准确率，以及如何提高准确率。首先，算法本身具有一定的随机性，但70%多的准确率对于二分类问题来说已经足够好。其次，提高准确率的途径包括对问题本身有足够的了解，熟悉数据并进行特征工程。最后，通过可视化等方式熟悉数据的分布，有助于更好地分析问题。需要注意的是，没有一个统一的方法去解决所有机器学习问题，需要根据具体问题进行相应的处理。

八、数据处理与特征工程实践

主要讲述了如何处理缺失值、特征工程以及模型选择和参数调优的过程。首先，通过常识和专业知识对缺失值进行处理，然后提取头衔信息，整合相近的特征，并对新特征与标签之间的关系进行分析。接着，根据问题背景和专业知识进行特征工程，构建模型，并通过交叉采样法选择最佳分类器。最后，通过网格搜索调优参数，绘制ROC曲线，选出最优参数。

九、机器学习模型评价与优化

主要介绍了特征工程、混淆矩阵和ROC曲线在机器学习中的应用。首先，特征工程是为了提高机器学习的上限，常见的特征工程思路包括编码、分组统计、构建高阶交叉特征等。其次，混淆矩阵是用来评价二分类问题的模型准确性的指标，准确率等于True Negative和True Positive之和除以四个元素的总和。最后，ROC曲线反映的是当阈值改变时，漏检率和虚警率的变化曲线，ROC曲线的面积越接近零，模型的预测准确性越高。

往期回顾

干货 | 清华Python编程入门分享会第一期

干货 | 清华Python编程入门分享会第二期

编辑：文婧

校对：丁玺茗

关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。

新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU

http://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247647839&idx=2&sn=b8c2c86b2bf52cb646407d64bd1b1bf3

数据派THU

清华大数据研究中心官方平台，发布团队科研、教学等最新动态及大数据领域的相关信息~

最新文章

RAPTOR：多模型融合+层次结构 = 检索性能提升20%，结果还更稳健

活动预告 | 首届北京数字人才发展大会

【伯克利博士论文】从自然场景视频中解耦人体运动和相机运动

LLM4Rec最新重磅工作：字节跳动序列推荐分层大模型HLLM

Salesforce 推出 Moirai-MoE，新视角设计下一代时序基础模型

【NUS博士论文】视频语义理解中的因果模型

清华软件论坛|C. Mohan:Data Management Implications of Intelligent Comp

征文延期至11月22日通知 | 首届开源技术学术大会征稿启事

FoundTS：首个覆盖多场景的时序预测基础模型评测基准

随机性、熵与随机数生成器:解析伪随机数生成器（PRNG）和真随机数生成器（TRNG）

【CIKM2024教程】高效的时间图学习：算法、框架与工具

报名 | 大数据产业论坛第1期——汽车行业专场

通知 | 首届开源技术学术大会征稿启事

NeurIPS 2024｜解锁大模型知识记忆编辑的新路径，浙大用「WISE」对抗幻觉

深度学习中的学习率调度:循环学习率、SGDR、1cycle 等方法介绍及实践策略研究

【CIKM2024教程】大语言模型在表格任务中的应用

三种Transformer模型中的注意力机制介绍及Pytorch实现：从自注意力到因果自注意力

丹麦首台AI超级计算机，NVIDIA技术加持，服务于量子计算、清洁能源、生物技术等领域

【ETHZ博士论文】用于视觉场景理解的领域鲁棒网络架构与训练策略

成都八零大赛圆满收官，清华大学参赛团队获“领先者”奖

原创｜制造新篇：重塑大语言模型在制造领域的力量

基于图论的时间序列数据平稳性与连通性分析：利用图形、数学和 Python 揭示时间序列数据中的隐藏模式

【NeurIPS2024】轨迹流匹配及其在临床时间序列建模中的应用

AI「长脑子」了？LLM惊现「人类脑叶」结构并有数学代码分区，MIT大牛新作震惊学界！

PeFAD：边缘设备中高效的联邦异常检测框架

【NeurIPS2024】Frozen-DETR：利用冻结基础模型的图像理解能力提升DETR

数据派志愿者招募 | 寻找最志同道合的你！

链接数据：如何使用知识图谱改进RAG

过采样与欠采样技术原理图解：基于二维数据的常见方法效果对比

【牛津大学博士论文】基于元学习和对称性的数据高效深度学习探索

NeurIPS 2024 | 如何防御对抗性提示攻击？AdvUnlearn让图片生成风险骤降

TimeDART：基于扩散自回归Transformer 的自监督时间序列预测方法

【NeurIPS2024】从因果角度重新思考视觉-语言模型适应中的失配问题

ECCV 2024｜解锁多模态自监督学习！深度解耦常见与独特表示的创新突破

图结构赋能语言模型：华为诺亚MILA联合提出基于图的可控数据合成提升大语言模型长逻辑链推理能力

【NeurIPS 2024】用于变分似然估计和图像去噪的扩散先验

AGENTiGraph：一个交互式知识图谱平台驱动的基于私有数据多智能体系统 - 东京&耶鲁大学等最新研究

干货 | 清华Python编程入门分享会第三期

【牛津大学博士论文】使用图神经网络进行知识图谱的深度学习

直播预告 | Al+研发数字峰会(AiDD) 2024深圳站开幕式

11种经典时间序列预测方法：理论、Python实现与应用

干货 | 清华Python编程入门分享会第二期

【NeurIPS2024】用于时间序列预测的检索增强扩散模型

斯坦福&哈佛医学院 - MMedAgent，一个用于医疗领域的多模态医疗AI智能体

入选ECCV 2024！浙江大学联合微软亚洲研究院提出统一医学图像预训练框架UniMedI，打破医学数据异构化藩篱

【ETHZ博士论文】机器学习代码: 安全性与可靠性

时序异常检测新进展！华为诺亚方舟实验室&华东师大提出首个时序异常检测通用模型

梯度累积的隐藏陷阱：Transformer库中梯度累积机制的缺陷与修正

【牛津大学博士论文】用于本体工程的语言模型

KDD 2024 | 数据驱动的分布偏移检测与自适应

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉