Sep:一个低内存、高性能的CSV文件读写操作.Net开源库

科技   2024-09-18 22:30   福建  

推荐一个号称最高性能的CSV文件读写操作库,支持AOT/NativeAOT。

 

01

项目简介

Sep 是一个高性能的 .NET CSV 解析器,具备快速、现代、简洁且高效的数据处理能力。

先进特性:采用 .NET 7+ 和 C# 11+ 的先进特性,例如 Span<T>、泛型数学接口(ISpanParsable<T>/ISpanFormattable)、ref struct、ArrayPool<T> 等,打造了一个现代且高效的实现方式。

简洁API:提供了一个简洁而富有表现力的 API,选项精简,对输入输出的处理透明无隐藏。你看到什么就得到什么。例如,它默认不会自动处理引号的转义/取消转义。

极速性能:通过架构特定和跨平台的 SIMD 矢量化解析技术,支持 64/128/256/512 位路径(如 AVX2、AVX-512(.NET 8.0+)、NEON),实现极速处理。利用 csFastFloat 快速解析浮点数。高效地逐行读取或写入数据,并有详尽的基准测试验证其性能。

多线程加速:通过高效的并行 CSV 解析技术,实现超快速度,比 CsvHelper 快达 35 倍。

低内存占用:智能高效的内存管理策略,在预热后实现零内存分配,包括轻松读取或写入值数组(如特征数据)而无需重复分配内存。

全面测试保障:拥有广泛的代码覆盖率,专注于边缘情况的测试,包括随机模糊测试,确保数据处理的准确性和稳定性。

跨平台兼容:支持 .NET 支持的所有平台和架构,100% 托管,采用现代 C# 编写,代码优美。

可修剪且兼容 AOT/NativeAOT:无反射或动态代码生成,确保完全可修剪且与提前编译(Ahead-of-Time)兼容。简单的控制台测试程序,可执行文件体积小,仅几 MB。

实用主义:遵循 RFC-4180 的核心原则,但在引用和行结束处理上采取实用主义方法。

 

02

使用方法

简单示例代码

using nietras.SeparatedValues;
// 指定CSV文件的路径string filePath = "file.csv";
// 使用Sep库创建一个CSV读取器,从文件中读取数据using var reader = Sep.Reader().FromFile(filePath);
// 遍历CSV文件中的每一行foreach (var readRow in reader){ // 假设我们知道CSV文件的列结构,可以直接通过列名访问数据 string columnA = readRow["A"].ToString(); string columnB = readRow["B"].ToString(); int columnC = readRow["C"].Parse<int>(); double columnD = readRow["D"].Parse<double>();
// 处理每一行的数据 Console.WriteLine($"A: {columnA}, B: {columnB}, C: {columnC}, D: {columnD}");}

格式化示例代码

using nietras.SeparatedValues;
// 定义一个多行字符串,表示一个CSV格式的数据。var text = """ A;B;C;D;E;F Sep;🚀;1;1.2;0.1;0.5 CSV;✅;2;2.2;0.2;1.5 """;
// 使用Sep库创建一个CSV读取器,自动从标题行推断分隔符。using var reader = Sep.Reader().FromText(text);
// 根据读取器的规格创建一个写入器,准备将数据写入文本。using var writer = reader.Spec.Writer().ToText();
// 获取列"B"在标题中的索引位置。var idx = reader.Header.IndexOf("B");// 定义一个包含列名的数组。var nms = new[] { "E", "F" };
// 遍历读取器中的每一行数据。foreach (var readRow in reader){ // 将列"A"读取为只读的字符跨度。 var a = readRow["A"].Span; // 将列"B"的值转换为字符串。 var b = readRow[idx].ToString(); // 将列"C"的值解析为整数。 var c = readRow["C"].Parse<int>(); // 将列"D"的值解析为浮点数,使用csFastFloat库进行快速解析。 var d = readRow["D"].Parse<float>(); // 将列"E"和"F"的值解析为双精度浮点数的跨度。 var s = readRow[nms].Parse<double>(); // 遍历解析后的数值,并将每个值乘以10。 foreach (ref var v in s) { v *= 10; }
// 开始写入新一行数据,行数据在Dispose时写入。 using var writeRow = writer.NewRow(); // 通过只读的字符跨度设置列"A"的值。 writeRow["A"].Set(a); // 通过字符串设置列"B"的值。 writeRow["B"].Set(b); // 通过插值字符串处理器设置列"C"的值,不会产生新的内存分配。 writeRow["C"].Set($"{c * 2}"); // 格式化列"D"的值,将数值除以2。 writeRow["D"].Format(d / 2); // 直接格式化多个列的值。 writeRow[nms].Format(s);}
Console.WriteLine(writer.ToString());

 

03

项目地址

https://github.com/nietras/Sep

- End -

推荐阅读

2个零基础入门框架教程!

5个热门的.NetCore开源商城项目
.NET 一直跻身 30 大Github最活跃开源项目之列。
CSCore:一个.Net功能强大且灵活的开源音频处理库
Atata:一个基于 Selenium的C#自动化测试Web框架

回复“888”,免费领取.NetCore视频教程

点击下方公众号卡片,关注我

编程乐趣
专注分享.NET和.NET Core编程知识、有趣热门的开源项目。
 最新文章