yield を含む関数は Python では generator(ジェネレータ)と呼ばれると聞いたことがあるかもしれません。generator とは何でしょうか?

まず generator のことは脇に置き、よくあるプログラミング問題を使って yield の概念を説明します。


フィボナッチ数列を生成する方法

フィボナッチ(Fibonacci)数列は非常に単純な再帰数列で、最初の数と2番目の数を除いて、任意の数は前の2つの数の和で得られます。コンピュータプログラムでフィボナッチ数列の最初の N 個を出力するのは非常に簡単な問題で、多くの初心者は簡単に次のような関数を書けます。

リスト 1. フィボナッチ数列の最初の N 個を単純に出力する

例

#!/usr/bin/python # -*- coding: UTF-8 -*- def fab(max): n, a, b = 0, 0, 1 while n < max: print b a, b = b, a + b n = n + 1 fab(5)

上記のコードを実行すると、次のような出力が得られます:

1 
1 
2 
3 
5

結果は問題ありませんが、経験豊富な開発者なら、fab 関数内で print を使って数字を直接出力すると、関数の再利用性が低くなると指摘するでしょう。なぜなら fab 関数は None を返すため、他の関数はこの関数が生成した数列を取得できないからです。

fab 関数の再利用性を高めるには、数列を直接出力するのではなく、List を返すのが最善です。以下は fab 関数を書き換えた第2版です。

リスト 2. フィボナッチ数列の最初の N 個を出力する(第2版)

例

#!/usr/bin/python # -*- coding: UTF-8 -*- def fab(max): n, a, b = 0, 0, 1 L = [] while n < max: L.append(b) a, b = b, a + b n = n + 1 return L for n in fab(5): print n

次のようにして、fab 関数が返す List を出力できます:

1 
1 
2 
3 
5

メモリ使用量を抑えたいなら、List で中間結果を保存するのは避けたほうがよいでしょう。

代わりに iterable オブジェクトを介して反復処理を行います。例えば、Python 2.x では、次のコード:

リスト 3. iterable オブジェクトによる反復処理

for i in range(1000): pass

1000 個の要素を持つ List が生成されます。一方、次のコード:

for i in xrange(1000): pass

は 1000 個の要素を持つ List を生成せず、毎回の反復で次の値を返すため、メモリ使用量は非常に小さくなります。xrange は List を返さず、iterable オブジェクトを返すからです。

iterable を利用することで、fab 関数を iterable をサポートする class に書き換えることができます。以下は第3版の Fab です:

リスト 4. 第3版

例

#!/usr/bin/python # -*- coding: UTF-8 -*- class Fab(object): def __init__(self, max): self.max = max self.n, self.a, self.b = 0, 0, 1 def __iter__(self): return self def next(self): if self.n < self.max: r = self.b self.a, self.b = self.b, self.a + self.b self.n = self.n + 1 return r raise StopIteration() for n in Fab(5): print n

Fab クラスは next() で数列の次の数を返し続けるため、メモリ使用量は常に一定です:

1 
1 
2 
3 
5

しかし、class を使って書き換えたこのバージョンのコードは、第1版の fab 関数ほど簡潔ではありません。第1版の fab 関数の簡潔さを保ちつつ、iterable の効果も得たいなら、yield が役立ちます:

リスト 5. yield を使用した第4版

例

#!/usr/bin/python # -*- coding: UTF-8 -*- def fab(max): n, a, b = 0, 0, 1 while n < max: yield b # yield を使用 # print b a, b = b, a + b n = n + 1 for n in fab(5): print n

第4版の fab は第1版と比較して、単に print b を yield b に変更しただけで、簡潔さを保ちながら iterable の効果を得ています。

第4版の fab の呼び出しは、第2版の fab とまったく同じです:

1 
1 
2 
3 
5

簡単に言うと、yield の役割は関数を generator に変えることです。yield を含む関数はもはや普通の関数ではなく、Python インタプリタはそれを generator とみなします。fab(5) を呼び出しても fab 関数は実行されず、iterable オブジェクトが返されます!for ループの実行中、各ループで fab 関数の内部コードが実行され、yield b に達すると、fab 関数は反復値を返します。次の反復では、コードは yield b の次の文から実行を続け、関数のローカル変数は前回の中断前とまったく同じように見えます。こうして関数は再び yield に遭遇するまで実行を続けます。

fab(5) の next() メソッドを手動で呼び出すこともできます(fab(5) は generator オブジェクトであり、このオブジェクトは next() メソッドを持っています)。これにより、fab の実行フローをより明確に見ることができます:

リスト 6. 実行フロー

>>>f = fab(5) >>> f.next() 1 >>> f.next() 1 >>> f.next() 2 >>> f.next() 3 >>> f.next() 5 >>> f.next() Traceback (most recent call last): File "<stdin>", line 1, in <module> StopIteration

関数の実行が終了すると、generator は自動的に StopIteration 例外を投げ、反復が完了したことを示します。for ループ内では StopIteration 例外を処理する必要はなく、ループは正常に終了します。

以下の結論が得られます:

yield を含む関数はジェネレータです。これは普通の関数とは異なり、ジェネレータの生成は関数呼び出しのように見えますが、next() を呼び出すまで(for ループでは自動的に next() が呼び出されます)、関数コードは一切実行されません。実行フローは依然として関数の流れに沿っていますが、yield 文に達するたびに中断され、反復値を返します。次回の実行時は、yield の次の文から実行を続けます。あたかも関数が正常に実行されている途中で yield によって何度も中断され、そのたびに yield が現在の反復値を返すかのように見えます。

yield の利点は明らかです。関数を generator に書き換えるだけで反復能力が得られます。クラスのインスタンスに状態を保存して次の next() の値を計算する方法と比べて、コードが簡潔なだけでなく、実行フローも非常に明確です。

ある関数が特別な generator 関数であるかどうかを判断するにはどうすればよいでしょうか? isgeneratorfunction を使って判断できます:

リスト 7. isgeneratorfunction を使った判断

>>>from inspect import isgeneratorfunction >>> isgeneratorfunction(fab) True

fab と fab(5) の区別に注意してください。fab は generator 関数であり、fab(5) は fab を呼び出して返される generator です。あたかもクラスの定義とクラスのインスタンスの違いのようなものです:

リスト 8. クラスの定義とクラスのインスタンス

>>>import types >>> isinstance(fab, types.GeneratorType) False >>> isinstance(fab(5), types.GeneratorType) True
fab は反復できませんが、fab(5) は反復可能です:
>>>from collections import Iterable >>> isinstance(fab, Iterable) False >>> isinstance(fab(5), Iterable) True

fab 関数を呼び出すたびに新しい generator インスタンスが生成され、各インスタンスは互いに影響しません:

>>>f1 = fab(3) >>> f2 = fab(5) >>> print 'f1:', f1.next() f1: 1 >>> print 'f2:', f2.next() f2: 1 >>> print 'f1:', f1.next() f1: 1 >>> print 'f2:', f2.next() f2: 1 >>> print 'f1:', f1.next() f1: 2 >>> print 'f2:', f2.next() f2: 2 >>> print 'f2:', f2.next() f2: 3 >>> print 'f2:', f2.next() f2: 5

return の役割

generator 関数内で、return がない場合はデフォルトで関数の最後まで実行されます。実行中に return が呼び出された場合は、直接 StopIteration を投げて反復を終了します。


もう一つの例

もう一つの yield の例はファイル読み取りに由来します。ファイルオブジェクトに対して直接 read() メソッドを呼び出すと、予測不能なメモリ消費が発生します。良い方法は、固定長のバッファを使ってファイルの内容を読み続けることです。yield を使えば、ファイルを読み取る反復クラスを書く必要がなく、簡単にファイル読み取りを実現できます:

リスト 9. もう一つの yield の例

例

def read_file(fpath): BLOCK_SIZE = 1024 with open(fpath, 'rb') as f: while True: block = f.read(BLOCK_SIZE) if block: yield block else: return

以上では、yield の基本的な概念と使い方を簡単に紹介しただけです。yield は Python 3 ではさらに強力な使い方がありますが、それについては今後の記事で議論します。

注:本稿のコードはすべて Python 2.7 でデバッグ済みです。

原文アドレス:https://www.ibm.com/developerworks/cn/opensource/os-cn-python-yield/