干货 | 清华Python编程入门分享会第二期

学术   2024-11-04 17:02   北京  


本次分享会是由五道口金融学院和大数据协会联合举办的系列讲座,以初级python入门为主,是为非计算机非数据科学专业,但有助于学习编程的同学量身定制的精品讲座。目标是为未来数据分析人才配备先进的编程理念和操作技巧,强化学科研究能力,促进跨学科交流与合作。活动分为三期,第二期由自动化系优秀博士生陈鹏宇主讲,主要学习Python数据分析的核心库Pandas的使用,包括数据处理、语音可视化等。Pandas是Python数据分析中最核心的库,可以用于读取Excel文件和数据库,进行各种数据分析。此外,还介绍了其他常用的Python第三方库,如NumPy、Micro Library和CBC Bone,它们分别提供数值计算、可视化、统计机器学习算法等功能。



一、数组操作与Numpy教程解析


主要介绍了如何获取PPT教程,以及如何在Python中使用NumPy库进行多维数组的创建和操作。NumPy的核心对象是多维数组,包括指向数据的指针、数据类型、数组形状和跨度。通过Numpy提供的array函数可以定义多维数组,也可以使用嵌套列表传递给二维函数。此外,还介绍了如何使用arrange函数进行数组的创建和操作,以及如何指定步长和间隔。



二、矩阵函数与索引操作详解


主要讲述了矩阵的常见函数和属性,如全零矩阵、全一矩阵和单位矩阵。通过传递参数shape来定义数组的形状,如二维数组需要传递两个参数。同时,介绍了Numpy中的一些索引方式,如整数数组和布尔数组,以及如何使用这些索引方式来访问矩阵中的元素。此外,还提到了Numpy中可以使用负整数和冒号来表示左闭右开的区间,以及如何使用整数数组和布尔数组进行多维索引。


三、数组操作与广播机制解析


主要讲述了布尔数组、广播机制、数组操作函数和线性代数库等方面的内容。布尔数组是用一和零表示真假的变量,广播机制可以对不同形状但兼容的数组进行操作。数组操作函数包括reshape、统计函数和线性代数库等,如计算内积、行列式、矩阵逆、搜索最大值和最小值的索引等。此外,还提到了布尔类型和布尔数组的应用,以及如何通过测试脚本验证广播机制是否正常工作。



四、数据处理库Pandas介绍


主要介绍了数据处理库P及其核心数据结构,包括一维的series和二维的data frame。P是一个基于Numpy的数据处理库,方便进行数据处理。series和data frame分别对应于一维表和二维表,类似于Excel表格。P还提供了一些数据清洗、数据分析、索引和选择函数。此外,还介绍了如何在P中创建series和data frame,以及如何使用这些函数进行操作。



五、数据框的创建与操作


主要介绍了如何通过字典构造data frame,以及如何读取和写入CSV文件。首先,通过二维数组和字典的方式定义data frame,可以指定列名,也可以使用列表字典的列表来定义。其次,介绍了读取CSV文件的方法,可以通过read CSV函数将整个文件内容读入,并可以设置显示的行数。最后,讲解了如何将data frame写入CSV文件,以及如何使用to excel函数将data frame转换为Excel文件。


六、数据清洗与可视化操作指南


主要讲述了数据清洗和可视化方面的内容。首先,数据清洗包括缺失值的处理,可以使用drop NA函数将缺失值删除,也可以使用few NA函数用指定值填补缺失值。其次,数据可视化方面,介绍了Map library和M library,Map library可以绘制各种图形和图表,如线图、散点图、条形图、饼图等;而M library则可以替代Matlab的绘图功能。最后,讲解了如何使用Map library和M library进行数据处理和分析,包括创建新的图形、定义子图等。



七、数据可视化函数及应用


主要介绍了如何使用Python的matplotlib库进行数据可视化。首先,通过plot函数绘制线图,可以传入横纵坐标列表,如元组。然后,可以使用scatter函数绘制散点图,参数与plot函数相同。此外,还可以添加坐标轴名字、标题、网格等元素。为了使子图之间不重叠,需要使用tight layout调整间隙。最后,介绍了基于M library构建的高级界面,如象限图、热力图、小提琴图等,这些都可以通过一行代码实现。



八、机器学习库及数据可视化应用


主要介绍了机器学习库SIQ learn(SK learn)及其在数据分析中的应用。SIQ learn是一个开源的机器学习库,提供了丰富的函数,如数据降维、分类、回归聚类等。通过示例脚本,展示了如何对鸢尾花数据进行分类,并取得了很好的效果。同时,分享者还推荐了Numpy教程和文档作为学习资源,强调阅读官方文档的重要性。



九、数据分析与Pandas库的应用


本次讲座主要介绍了Pandas库在科研和论文写作中的应用,强调了数据分析的重要性。通过使用Pandas库,可以对数据进行趋势值处理、复制填充等操作,从而提高数据分析结果的准确性。同时,讲者认为即使是零基础的编程同学,在经过两期讲座和大模型辅助后,也可以自己动手进行数据分析。实践是学习编程和数据分析的有效方式,通过实践和看bug,可以更好地理解代码。




往期回顾

干货 | 清华Python编程入门分享会第一期


编辑:文婧

校对:丁玺茗



关于我们

数据派THU作为数据科学类公众号,背靠清华大学大数据研究中心,分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识,努力建设数据人才聚集平台、打造中国大数据最强集团军。




新浪微博:@数据派THU

微信视频号:数据派THU

今日头条:数据派THU


数据派THU
清华大数据研究中心官方平台,发布团队科研、教学等最新动态及大数据领域的相关信息~
 最新文章