MS_DotNetForApacheSparkSQL

.NET for Apache SparkのSQL

• 戻る（.NET for Apache Spark）
  • .NET for Apache Sparkチュートリアル
  • .NET for Apache Sparkのデータ接続
  • .NET for Apache SparkのSQL

概要

Spark SQL を、.NET for Apache Spark で書く。

詳細

操作

基本

https://github.com/dotnet/spark/blob/main/examples/Microsoft.Spark.CSharp.Examples/Sql/Batch/Basic.cs

（Spark SQL の一般的な説明は
https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Spark%20SQL を参照）

列の分割

Column arrayCol = Split(lines.Col("value"), " ");
DataFrame df = null;
df = lines.WithColumn("col1", arrayCol.GetItem(0));
df = df.WithColumn("col2", arrayCol.GetItem(1));
df = df.WithColumn("col3", arrayCol.GetItem(2));

補足（Split は静的インポート）: 上記の Split は
Microsoft.Spark.Sql.Functions の静的メソッドで、
using static Microsoft.Spark.Sql.Functions; を書いた前提のコードである。
書かない場合は Functions.Split(...) と修飾する。
なお、arrayCol を WithColumn で 3 回展開しているが、
区切りが 3 個に満たない行では GetItem が null を返す点に注意する
（エラーにはならない。
チュートリアルの
「出力に null の行が並ぶ理由」も参照）。

集計

移行メモ（未記述）: 「集計」の節は元ページでも見出しのみで、
本文が書かれていない。原文のまま残す。

参考

Spark SQL - 開発基盤部会 Wiki

https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Spark%20SQL

本 Wiki 内

• .NET for Apache Spark
• .NET for Apache Sparkチュートリアル
• .NET for Apache Sparkのデータ接続

---

Tags: クラウド, Azure, .NET開発, .NET Core, .NET Standard