很重要!快把Python升级到3.13吧(利好机器学习和地学分析)

文摘   2024-10-24 00:01   北京  

升级Python到3.13

Python 3.13. 将为「机器学习」「地理分析」带来多项新功能和性能增强。

对机器学习的影响

但凡跑过地学深度学习的同学都知道,模块导入和数据处理真的很慢。。。

Python 3.13极大提速,包括:

  • 「性能增强:」Python 3.13 中的优化,如更快的模块导入和垃圾收集,可以大大减少机器学习工作流的运行时间,特别是对于大规模数据处理。
  • 「更快」地导入 type、threading 和 functools 等模块将节省训练模型的启动时间
  • 「并行」机器学习训练中,使用 posix_spawn() 在子进程中进行进程管理
  • 「库更新」:包含在 TensorFlowPyTorchscikit-learn 等库中,这些库通常是在 Python 之上开发的,以实现更快的实验、更有效的深度学习模型训练
  • 支持更大的数据集 (ZIP64):大数据数据集经常用于机器学习项目。Python 处理 ZIP64 格式文件的能力将有助于处理大于 4GB 的数据集,这将加快模型的训练和评估。

增强的地学功能

更高级的机器学习库现在可以从 Python 的原生优势中受益。增强的类型检查和效率优化可能有助于 Scikit-learn、TensorFlow 和 PyTorch 等工具,使环境更稳定,可以构建复杂模型。

这些修改将提供更高的代码稳定性,并有助于更有效地处理和分析地理空间库(如 GDALShapelyGeoPandas)的空间数据。

具体包括:

  • 优化的垃圾回收:通过减少暂停时间,增量垃圾回收器提高了性能,特别是对于地理空间和内存密集型机器学习模型。

  • 更快的导入时间:机器学习和 GIS 管道受益于更快的脚本执行,因为 typing、functions 和 email.utils 等模块的加载时间大大减少。

  • Tkinter 改进:增强的 Tkinter 小部件技术有助于创建图形用户界面 (GUI),用于可视化地理数据或机器学习结果,包括地图

极大利好地学环境管理

一直以来,一些地学库Cartopy\GDAL\rasterio的安装,由于一些依赖包的问题,非常麻烦。

前不久Cartopy也支持直接pip安装了

现在我们直接用mamba管理环境,相比于 conda,mamba 是用C++重写了 conda 的部分功能,「运行效率显著提高,可以进行并行的下载」

相信不久的将来,Python地学、深度学习的库依赖报错问题会彻底解决。

环境配置

直接怼一个新的python3.13环境

conda create -n pynew python==3.13

安装mamba环境(在base安装即可)

conda install mamba -n base -c conda-forge

总体而言,最新版本中包含重要的优化,例如更快的导入时间、更好的垃圾回收和改进的库功能。这些调整应该会提高性能和效率,从而更轻松地处理复杂的机器学习模型和复杂的数据集。

求求你点个在看吧,这对我真的很重要



地学万事屋
分享先进Matlab、R、Python、GEE地学应用,以及分享制图攻略。
 最新文章