Cinchoo ETL——对大型CSV文件进行排序

目录

1、介绍

2. 要求

3. 使用方法

3.1 样本数据

3.2 快速排序——零配置方法

3.3 定义映射类

3.3 使用ChoCSVReader/ChoCSVWriter排序

• 下载 Cinchoo ETL 源码
• 下载 Cinchoo ETL 二进制文件 (.NET Core)
• 下载 Cinchoo ETL 二进制文件 (.NET Framework)
• 工作示例 1 (.NET Fiddle)
• 工作示例 2 (.NET Fiddle)

ChoETL是一个用于.NET的开源ETL（提取、转换和加载）框架。它是一个基于代码的库，用于在.NET环境中从多个来源提取数据、转换并加载到您自己的数据仓库中。您可以立即在数据仓库中拥有数据。

本文讨论使用ChoETL框架提供的ChoCSVReader/ChoCSVWriter组件对大CSV文件进行排序。当需要排序时，大型CSV文件会带来挑战。如果您尝试使用.NET应用程序，它将OutOfMemory异常失败。使用Microsoft Excel对大文件进行排序时，您会在第一时间立即收到错误消息。

如果string排序对您有用，那么只需使用 WindowsSORT命令。对文件进行排序并完成它。它会很高兴地对您的大型 CSV 文件进行排序，而且使用起来很简单。

如果您需要过滤和转换文件，特别是日期/自定义类型的字段，那么您需要编写一个小的转换程序来转换您喜欢的任何字段，并重写记录。这就是Cinchoo ETL框架发挥作用的地方，以您想要的方式简化大型CSV文件的转换，满足所有可能的要求，同时具有最小的内存占用和超快的性能。

在本文中，让我们学习如何使用Cinchoo ETL框架来做到这一点。

该框架库是使用.NET 4.5/.NET Core Framework用C#编写的。

让我们从一个简单的示例开始，该示例读取以下具有4列的CSV文件。

清单 1. 示例CSV数据文件 (customers.csv)

CustId,Name,Balance,AddedDate
1732,Tom Perez,435.00,05/11/2002
5541,Pedro Gomez,12342.30,06/02/2000
1122,Mark Politti,0.00,01/02/2004
1924,Pablo Ramirez,3321.30,11/24/2002

.NET Framework

Install-Package ChoETL.JSON

Install-Package ChoETL.JSON.NETStandard

using ChoETL;

这种方法向您展示了如何在没有任何映射类的情况下对大型CSV文件进行排序。

清单 2. 在没有映射类的情况下对CSV文件进行排序

public static void QuickSort()
{
    using (var dr = new ChoCSVReader(@"customers.csv").WithFirstLineHeader())
    {
        using (var dw = new ChoCSVWriter(Console.Out))
            dw.Write(dr.ExternalSort((c1, c2) => String.Compare(c1.Name, c2.Name)));
    }
}

在上面，打开输入CSV文件以读取ChoCSVReader对象。然后打开ChoCSVWriter写入已排序的CSV文件。使用reader对象上的ExternalSort()方法使用String.Compare方法对项目通过Name进行排序。这将生成排序后的CSV文件。

同样，您可以以最少的内存占用对csv集合执行任何类型的投影、过滤或转换。

小示例：C# Online Compiler | .NET Fiddle

这种方法讨论了使用映射 (POCO)类对大型CSV文件进行排序。比上一步更安全的方法。首先，创建一个类，该类的属性与CSV文件中的列标题名称相同。确保使用SerializableAttribute将类标记为可序列化。下面，您将找到执行此操作的类的示例。

清单 3. 映射类

[Serializable]
public class Customer
{
	public int CustId { get; set; }
	public string Name { get; set; }
	public decimal Balance { get; set; }
	public DateTime AddedDate { get; set; }
}

最后，创建一个ChoCSVReader类的实例来读取输入文件。创建一个用于写入排序后的CSV文件的ChoCSVWriter实例，如下所示。

清单 4. 使用映射类对CSV文件进行排序

public static void POCOSort()
{
    using (var dr = new ChoCSVReader(@"customers.csv").WithFirstLineHeader())
    {
        using (var dw = new ChoCSVWriter(Console.Out))
            dw.Write(dr.ExternalSort((c1, c2) => DateTime.Compare(c1.AddedDate, c2.AddedDate)));
    }
}

上面的代码使用reader对象上的ExternalSort()方法按AddedDate列对CSV文件进行排序并保存到CSV输出文件中。这将生成排序后的CSV文件。

小示例：C# Online Compiler | .NET Fiddle

https://www.codeproject.com/Tips/1185848/Cinchoo-ETL-Sorting-Large-CSV-File