佐々木屋

技術的なことから趣味まで色々書きます

LINQによる遅延評価

イテレータによる遅延評価と同様で、LINQでも遅延評価を実装することが出来ます。

例えば、単純に1秒待つメソッド関数があるとします。

private int testFunction(int v) {
    Thread.Sleep(1000);
    return v * 2;
}
Private Function testFunction(ByVal v As Integer) As Integer
    Thread.Sleep(1000)
    Return v * 2
End Function

LINQを利用してコレクション全ての要素をこの関数へ渡して結果を受け取るような処理を考えます。res1は先行評価、res2は遅延評価で、結果をそれぞれ2回ずつforeachでループ処理をします。違いが分かるように、Stopwatch クラスで時間を計ります。

Stopwatch sw = new Stopwatch();
int[] values = { 8, 4, 9, 5, 7 };

//先行評価
sw.Start();
var res1 = values.Select(x => testFunction(x)).ToArray();

foreach (var r in res1) {}
foreach (var r in res1) {}

sw.Stop();
Console.WriteLine("先行評価 " + sw.Elapsed);

sw.Reset();
                    
//遅延評価
sw.Start();
var res2 = values.Select(x => testFunction(x));

foreach (var r in res2) {}
foreach (var r in res2) {}

sw.Stop();
Console.WriteLine("遅延評価 " + sw.Elapsed);
Dim sw As New Stopwatch()
Dim values As Integer() = {8, 4, 9, 5, 7}

'先行評価
sw.Start()
Dim res1 = values.Select(Function(x) testFunction(x)).ToArray()

For Each r In res1
Next
For Each r In res1
Next

sw.Stop()
Console.WriteLine("先行評価 " & sw.Elapsed)

sw.Reset()
            
'遅延評価
sw.Start()
Dim res2 = values.Select(Function(x) testFunction(x))

For Each r In res2
Next
For Each r In res2
Next

sw.Stop()
Console.WriteLine("遅延評価 " & sw.Elapsed)

先行評価と遅延評価はの違いは、LINQの結果をToArrayメソッドがあるかないかの違いだけです。
どちらが何秒になるでしょうか。

先行評価 00:00:05.0092785
遅延評価 00:00:10.0103753

遅延評価が10秒と先行評価の倍かかっているのが分かります。これは、res2はLINQの段階では評価されず、foreachで初めて関数に渡されて評価される為です。これはブレークポイントを設定してみるとより分かりやすいです。

よって、foreachが2回あるので2回ずつ合計10回testFunctionが実行されます。結果、先行評価に比べて倍の時間がかかるわけです。

それに比べて先行評価は、ToArrayメソッドが実行される瞬間でLINQが評価されますので、foreachでは評価されません。つまり、5回testFunctionが実行されるだけです。


では、今度はforeachの途中で条件分岐を入れてみます。testFunctionの結果が10未満の場合はforeachを打ち切るようにします。あと、foreach文は一つに減らしてみましょう。

Stopwatch sw = new Stopwatch();
int[] values = { 8, 4, 9, 5, 7 };

//先行評価
sw.Start();
var res1 = values.Select(x => testFunction(x)).ToArray();

foreach (var r in res1) {
    if (r < 10) break;
}

sw.Stop();
Console.WriteLine("先行評価 " + sw.Elapsed);

sw.Reset();
                    
//遅延評価
sw.Start();
var res2 = values.Select(x => testFunction(x));

foreach (var r in res2) {
    if (r < 10) break;
}

sw.Stop();
Console.WriteLine("遅延評価 " + sw.Elapsed);
Dim sw As New Stopwatch()
Dim values As Integer() = {8, 4, 9, 5, 7}

'先行評価
sw.Start()
Dim res1 = values.Select(Function(x) testFunction(x)).ToArray()

For Each r In res1
    If r < 10 Then Exit For
Next

sw.Stop()
Console.WriteLine("先行評価 " & sw.Elapsed)

sw.Reset()
            
'遅延評価
sw.Start()
Dim res2 = values.Select(Function(x) testFunction(x))

For Each r In res2
    If r < 10 Then Exit For
Next

sw.Stop()
Console.WriteLine("遅延評価 " & sw.Elapsed)

さて、結果はどうなりましたか?


遅延評価のメリットとしては、

  • メモリの節約
  • 評価値を都度評価できる

という点があります。

但し、上記の例は少し極端ですが、遅延評価をよく理解しないでLINQイテレータを使用すると、思いがけないところでパフォーマンスが極端に落としてしまったり、逆にLINQを利用するメリットを無視してしまう可能性がありますので、よく理解して使用するようにしましょう。

判定メソッド(Any、All、Contains)

コレクションに対して、ある条件を満たすような要素が存在するかどうかを判定するメソッドです。以下のコレクションに対して実行してみます。

int[] values = { 1, 9, 5, 6, 8, 6, 2, 5, 3 };
Dim values As Integer() = {1, 9, 5, 6, 8, 6, 2, 5, 3}


Anyメソッド

条件を満たす要素があるかどうかを判定します。

Console.WriteLine(values.Any(x => x != 8));
Console.WriteLine(values.Any(Function(x) x <> 8))


Allメソッド

全ての要素が条件を満たしているか判定します。

Console.WriteLine(values.All(x => x != 8));
Console.WriteLine(values.All(Function(x) x <> 8))

Allメソッドは検索対象が空の場合trueを返しますので注意して下さい。

Containメソッド

指定した要素が含まれているかどうかを判定します。

Console.WriteLine(values.Contains(3));
Console.WriteLine(values.Contains(3))

無意味なスコープ

変数スコープは出来るだけ短くするとバグの発生を抑えることができます。

課題①

変数iはメソッドの最初の方に宣言されていますが、実際はfor文でしか使用されていません。

int i;

//処理①

for (i = 0; i <= 10; ++i) {
    //処理②
}
Dim i As Integer

'処理①

For i = 0 To 10
    '処理②
Next


リファクタリング

特にIfやUsingなど構造化される場合は、構造化の内部で宣言すれば、スコープを構造化内部だけにすることが出来ます。これによって変数名を無駄にいくつもそろえる必要が無くなりますし、何と言っても意図しない値の衝突、バグの発生を抑えることができます。

//処理①

for (int i = 0; i <= 10; ++i) {
    //処理②
}
'処理①

For i As Integer = 0 To 10
    '処理②
Next



複数回同じ変数を違った意味で使いまわすことはバグの温床となります。

課題②

int m;

//変数mは分を保持する
m = DateTime.Now.Minute;

//変数hを使用した処理

//変数mは月を保持する
m = DateTime.Today.Month;

//変数mを使用した処理
Dim m As Integer

'変数mは分を保持する
m = DateTime.Now.Minute

'変数hを使用した処理

'変数mは月を保持する
m = DateTime.Today.Month

'変数mを使用した処理


リファクタリング

本来は別変数名を使用すればよいのですが、わざと構造化させて処理を分断して変数スコープを宣言する方法もあります。

{
    //変数mは分を保持する
    int m = DateTime.Now.Minute;

    //変数hを使用した処理
}

{
    //変数mは月を保持する
    int m = DateTime.Today.Month;

    //変数mを使用した処理
}
With Nothing
    '変数mは分を保持する
    Dim m As Integer = DateTime.Now.Minute

    '変数hを使用した処理
End With

WIth Nothing
    '変数mは月を保持する
    Dim m As Integer = DateTime.Today.Month

    '変数mを使用した処理
End With

但し、この場合mだけでなく他の変数スコープも狭くなりますので注意が必要です。

インデックス付きSelectメソッド

コレクションの要素を処理する際、ナンバリングが必要なことがたまにあります。
通常であれば、以下のようにfor文を使ってナンバリングするのでしょうが・・・。

string[] values = { "京都", "奈良", "大阪", "兵庫", "滋賀", "和歌山" };
var res = new List<string>(); 
for (int i= 0; i < values.Count(); ++i) {
    res.Add(i.ToString() + ":" + values[i]);
}
Console.WriteLine(String.Join(",", res));        
Dim values As String() = {"京都", "奈良", "大阪", "兵庫", "滋賀", "和歌山"}
Dim res = New List(Of String)()
For i As Integer = 0 To values.Count() - 1
    res.Add(i.ToString() & ":" & values(i))
Next
Console.WriteLine(String.Join(",", res))
0:京都,1:奈良,2:大阪,3:兵庫,4:滋賀,5:和歌山



LINQのSelectメソッドはインデックスを射影するオーバーロードがあります。

var res = values.Select((x, index) => index.ToString() + ":" + x).ToArray();
Console.WriteLine(String.Join(",", res));
Dim res = values.Select(Function(x, index) index.ToString() & ":" & x).ToArray()
Console.WriteLine(String.Join(",", res))



インデックスを利用して、Whereメソッドに応用することも可能です。

また、インデックスはユニークですので、これを利用してDictionaryクラスに変換することも可能です。

var dic = values1.Select((x, index) => new { index, x }).ToDictionary(x => x.index, x => x.x);
Dim dic = values1.Select(Function(x, index) New With {index, x}).ToDictionary(Function(x) x.index, Function(x) x.x)

NULLを考える①(NULLIF関数)

データベースを扱う上で必ずと言っていいほどお世話になる「NULL」さん。何もないという意味ですが、C#などのプログラミング言語に比べると、SQLのNULLは少し「できる奴」だと個人的には思います。

ということで、NULLを扱う関数を全てではありませんが少し考えてまとめてみました。

今回はNULLIF関数です。


NULLIF関数は第一引数と第二引数が一致する場合NULLを返し、違う場合は一つ目の引数を返します。つまり、0かどうかを判断するようにすれば良いということになります。

--フィールド名の値が0の場合、NULLが返る
NULLIF( [フィールド名] , 0--フィールド名の値が100の場合、NULLが返る
NULLIF( [フィールド名] , 100

これはCASE文と動作的には全く一緒となります。

--フィールド名の値が0の場合、NULLが返る
CASE WHEN  [フィールド名] = 0 THEN NULL ELSE 0 END

--フィールド名の値が100の場合、NULLが返る
CASE WHEN  [フィールド名] = 100 THEN NULL ELSE 0 END

NULLIF関数の方がスマートですよね。

集合メソッド(Union、Except、Intersect)

複数のコレクションに対して集合を提供します。

Unionメソッド(和集合)

2つのコレクションの和集合を返します。

和集合とは、集合A、集合Bが定義されている場合、A又はBどちらか一方の集合に属する集合全体「A∪B」のことを指します。

string[] values1 = { "京都", "奈良", "大阪", "兵庫", "滋賀" ,"和歌山"};
string[] values2 = { "東京", "大阪", "愛知", "京都", "福岡", "兵庫" };
var res = values1.Union(values2);
Dim values1 As String() = {"京都", "奈良", "大阪", "兵庫", "滋賀", "和歌山"}
Dim values2 As String() = {"東京", "大阪", "愛知", "京都", "福岡", "兵庫"}
Dim res = values1.Union(values2)
京都,奈良,大阪,兵庫,滋賀,和歌山,東京,愛知,福岡


Exceptメソッド(差集合)

2つのコレクションの差集合を返します。

差集合とは、集合A、集合Bが定義されている場合、集合Aから集合Bを取り除いた集合「A\B」のことです。

string[] values1 = { "京都", "奈良", "大阪", "兵庫", "滋賀" ,"和歌山"};
string[] values2 = { "東京", "大阪", "愛知", "京都", "福岡", "兵庫" };
var res = values1.Except(values2);
Dim values1 As String() = {"京都", "奈良", "大阪", "兵庫", "滋賀", "和歌山"}
Dim values2 As String() = {"東京", "大阪", "愛知", "京都", "福岡", "兵庫"}
Dim res = values1.Except(values2)
奈良,滋賀,和歌山


Intersectメソッド(積集合)

2つのコレクションの積集合を返します。

積集合は共通集合、交叉とも呼ばれ、集合A、集合Bが定義されている場合、互いに含まれる部分の集合「A∩B」のことを指します。

string[] values1 = { "京都", "奈良", "大阪", "兵庫", "滋賀" ,"和歌山"};
string[] values2 = { "東京", "大阪", "愛知", "京都", "福岡", "兵庫" };
var res = values1.Intersect(values2);
Dim values1 As String() = {"京都", "奈良", "大阪", "兵庫", "滋賀", "和歌山"}
Dim values2 As String() = {"東京", "大阪", "愛知", "京都", "福岡", "兵庫"}
Dim res = values1.Intersect(values2)
京都,大阪,兵庫

取得メソッド②(Skip、Take、SkipWhile、TakeWhile)

コレクションの特定要素を取得する際に利用します。Selectメソッドの場合だとコレクションを上から順番に評価していきますが、予め取得したい要素の場所が決まっているような場合は走査が無駄になる場合があります。その場合はこれらのメソッドを活用します。

なお、コレクションは以下を共通で利用します。

int[] values = { 1, 9, 5, 6, 8, 6, 2, 5, 3 };
Dim values As Integer() = {1, 9, 5, 6, 8, 6, 2, 5, 3}


Skipメソッド

コレクションの先頭から指定された要素数を除外して、以降をコレクションとして返します。
例えば、3番目までスキップして4番目以降をコレクションとして返す場合は以下の通りです。

Console.WriteLine(string.Join(",",values.Skip(3)));
Console.WriteLine(String.Join(",", values.Skip(3)))
6,8,6,2,5,3


Takeメソッド

Skipメソッドと逆で、コレクションの先頭から指定された要素数を返します。
例えば、3番目までのコレクションを取得する場合は以下の通りです。

Console.WriteLine(string.Join(",", values.Take(3)));
Console.WriteLine(String.Join(",", values.Take(3)))
1,9,5


SkipWhileメソッド

Skipメソッドの条件あり版で、コレクションの先頭から走査して指定された条件が「偽」の間は除外し、「真」以降の要素をコレクションとして返します。

例えば、要素が8と一致するところまで除外する場合は以下の通りです。

Console.WriteLine(string.Join(",", values.SkipWhile(x => x != 8)));
Console.WriteLine(String.Join(",", values.SkipWhile(Function(x) x <> 8)))
8,6,2,5,3


TakeWhileメソッド

Takeメソッドの条件あり版で、コレクションの先頭から走査して指定された条件が「偽」になるまでの要素をコレクションとして返します。

例えば、要素が8と一致するまでのコレクションを取得する場合は以下の通りです。

Console.WriteLine(string.Join(",", values.TakeWhile(x => x != 8)));
Console.WriteLine(String.Join(",", values.TakeWhile(Function(x) x <> 8)))
1,9,5,6