推荐一个数据提取、转换和加载.Net框架,方便我们处理数据。
01
项目简介
ChoETL 是一个开源的 .NET ETL(Extract, Transform, Load)框架。
它提供了解析和写入多种文件格式的能力,包括但不限于 CSV、FixedLength、XML、JSON、Key-Value、Parquet、YAML 和 Avro格式的文件、数据库。
02
项目特点
平台:.NET(支持 .NET Framework, .NET Standard, 和 .NET Core)。
数据源支持:能够从多种数据源中提取、写入数据,包括但不限于数据库(SQL Server、Sqlite )、CSV、FixedLength、XML、JSON、Key-Value、Parquet、YAML 和 Avro。
详细文档:针对每一个格式都有详细的文档实例。
03
使用方法
1、CSV文件操作
//CSV文件
Id,Name
1,Tom
2,Carl
3,Mark
//CSV读取
foreach (dynamic e in new ChoCSVReader("Emp.csv").WithFirstLineHeader())
Console.WriteLine("Id: " + e.Id + " Name: " + e.Name)
//CSV写入
List<ExpandoObject> objs = new List<ExpandoObject>();
dynamic rec1 = new ExpandoObject();
rec1.Id = 1;
rec1.Name = "Mark";
objs.Add(rec1);
dynamic rec2 = new ExpandoObject();
rec2.Id = 2;
rec2.Name = "Jason";
objs.Add(rec2);
using (var parser = new ChoCSVWriter("Emp.csv"))
{
parser.Write(objs);
}
2、XML文件操作
//XML文件
<Employees>
<Employee Id='1'>
<Name>Tom</Name>
</Employee>
<Employee Id='2'>
<Name>Mark</Name>
</Employee>
</Employees>
//xml文件读取
foreach (dynamic e in new ChoXmlReader("Emp.xml"))
Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);
//xml文件写入
List<ExpandoObject> objs = new List<ExpandoObject>();
dynamic rec1 = new ExpandoObject();
rec1.Id = 1;
rec1.Name = "Mark";
objs.Add(rec1);
dynamic rec2 = new ExpandoObject();
rec2.Id = 2;
rec2.Name = "Jason";
objs.Add(rec2);
using (var parser = new ChoXmlWriter("Emp.xml").WithXPath("Employees/Employee"))
{
parser.Write(objs);
}
3、Json文件操作
//JSON文件
[
{
"Id": 1,
"Name": "Mark"
},
{
"Id": 2,
"Name": "Tom"
}
]
//JSON读取
foreach (dynamic e in new ChoJSONReader("Emp.json"))
Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);
//JSON写入
List<ExpandoObject> objs = new List<ExpandoObject>();
dynamic rec1 = new ExpandoObject();
rec1.Id = 1;
rec1.Name = "Mark";
objs.Add(rec1);
dynamic rec2 = new ExpandoObject();
rec2.Id = 2;
rec2.Name = "Jason";
objs.Add(rec2);
using (var parser = new ChoJSONWriter("Emp.json"))
{
parser.Write(objs);
}
04
使用方法
https://github.com/Cinchoo/ChoETL
觉得好看 点个在看👇