.NET9 PreView5张量和AI算力

文摘   2024-06-25 09:51   湖北  

点击上方蓝字 江湖评谈设为关注/星标




前言

.NET9 PreView5增强了对于人工智能的支持,多维数据的高效编码、操作和计算来扩展 AI 能力。

Tensor<T>

张量是人工智能 (AI) 的基石数据结构。它们通常可以被认为是多维数组。

张量用于:

  • 表示和编码数据,例如文本序列(标记)、图像、视频和音频。

  • 高效处理高维数据。

  • 在高维数据上高效应用计算。

  • 在神经网络中,它们用于存储权重信息和中间计算。

类型:Tensor<T>

  • 在可能的情况下,使用零副本提供与 ML.NET、TorchSharp 和 ONNX Runtime 等 AI 库的高效互操作。

  • 建立在高效数学运算之上。TensorPrimitives

  • 通过提供索引和切片操作,实现简单高效的数据操作。


以下示例演示了以下使用:Tensor<T>

using System.Numerics.Tensors;
// Create a tensor (1 x 3)var t0 = Tensor.Create(new float[] { 1, 2, 3 }, [1,3]); // [[1, 2, 3]]
// Reshape tensor (3 x 1)var t1 = t0.Reshape(3, 1); // [[1], [2], [3]]
// Slice tensor (2 x 1)var t2 = t1.Slice(1..,..); // [[2], [3]]
// Broadcast tensor (3 x 1) -> (3 x 3)// [// [ 1, 1, 1],// [ 2, 2, 2],// [ 3, 3, 3]// ]var t3 = Tensor.Broadcast(t1, [3, 3]);
// Math operationsvar t4 = Tensor.Add(t0, 1); // [[2, 3, 4]]var t5 = Tensor.Add(t0, t0); // [[2, 4, 6]]var t6 = Tensor.Subtract(t0, 1); // [[0, 1, 2]]var t7 = Tensor.Subtract(t0, t0); // [[0, 0, 0]]var t8 = Tensor.Multiply(t0, 2); // [[2, 4, 6]]var t9 = Tensor.Multiply(t0, t0); // [[1, 4, 9]]var t10 = Tensor.Divide(t0, 2); // [[0.5, 1, 1.5]]var t11 = Tensor.Divide(t0, t0); // [[1, 1, 1]]

TensorPrimitives

该类提供用于对值范围执行数值运算的静态方法。公开的方法范围已显著扩展,从 40 个(使用 .NET 8 )增加到近 200 个重载。表面积包含您习惯于从 和 等类型以及通用数学接口(如 )中进行的数值运算,只不过它们不是处理单个值,而是处理一系列值。此外,通过SIMD优化的实施,许多操作都得到了加速。


例如,下面的 .NET 8 代码对两个值向量执行余弦相似性

using System.Numerics.Tensors;
ReadOnlySpan<float> vector1 = [1, 2, 3];ReadOnlySpan<float> vector2 = [4, 5, 6];Console.WriteLine(TensorPrimitives.CosineSimilarity(vector1, vector2));
// prints 0.9746318

现在(.NET9)存在以下重载,使相同的操作能够处理 、 、 或实现 .. 的任何其他类型的跨度。

public static T CosineSimilarity<T>(ReadOnlySpan<T> x, ReadOnlySpan<T> y) where T : IRootFunctions<T>

以下示例与前面的示例相同,但对 的跨度进行操作,与前面的示例相比,精度有所增加。

using System.Numerics.Tensors;
ReadOnlySpan<double> vector1 = [1, 2, 3];ReadOnlySpan<double> vector2 = [4, 5, 6];Console.WriteLine(TensorPrimitives.CosineSimilarity(vector1, vector2));
// prints 0.9746318461970762

原文:https://github.com/dotnet/core/blob/main/release-notes/9.0/preview/preview5/libraries.md#enhanced-ai-capabilities-with-tensorprimitives-and-tensort

往期精彩回顾

.NET9 Pre3 CLR的优化细节


江湖评谈
记录,分享,自由。
 最新文章