Возможно, вы слышали, что функции с yield в Python называются генераторами. Что такое генератор?

Давайте пока отложим генераторы и на примере распространённой задачи программирования продемонстрируем концепцию yield.


Как сгенерировать последовательность Фибоначчи

Последовательность Фибоначчи — это очень простая рекурсивная последовательность. За исключением первого и второго чисел, любое число можно получить сложением двух предыдущих чисел. Вывести первые N чисел последовательности Фибоначчи с помощью компьютерной программы — очень простая задача, и многие новички могут легко написать следующую функцию:

Листинг 1. Простой вывод первых N чисел последовательности Фибоначчи

Пример

#!/usr/bin/python # -*- coding: UTF-8 -*- def fab(max): n, a, b = 0, 0, 1 while n < max: print b a, b = b, a + b n = n + 1 fab(5)

Выполнив приведённый выше код, можно получить следующий вывод:

1 
1 
2 
3 
5

Результат хорош, но опытные разработчики заметят, что прямое использование print в функции fab для вывода чисел делает функцию плохо пригодной для повторного использования, потому что функция fab возвращает None, и другие функции не могут получить последовательность, сгенерированную этой функцией.

Чтобы улучшить возможность повторного использования функции fab, лучше не выводить последовательность напрямую, а возвращать список. Ниже приведена вторая версия переписанной функции fab:

Листинг 2. Вторая версия вывода первых N чисел последовательности Фибоначчи

Пример

#!/usr/bin/python # -*- coding: UTF-8 -*- def fab(max): n, a, b = 0, 0, 1 L = [] while n < max: L.append(b) a, b = b, a + b n = n + 1 return L for n in fab(5): print n

Вы можете вывести список, возвращаемый функцией fab, следующим образом:

1 
1 
2 
3 
5

Переписанная функция fab удовлетворяет требованию повторного использования, возвращая список, но более опытные разработчики заметят, что память, занимаемая этой функцией во время выполнения, увеличивается по мере увеличения параметра max. Чтобы контролировать потребление памяти, лучше не использовать список

для хранения промежуточных результатов, а вместо этого итерироваться по итерируемому объекту. Например, в Python 2.x код:

Листинг 3. Итерация по итерируемому объекту

for i in range(1000): pass

сгенерирует список из 1000 элементов, тогда как код:

for i in xrange(1000): pass

не сгенерирует список из 1000 элементов, а вместо этого возвращает следующее значение на каждой итерации, занимая очень мало памяти. Это потому, что xrange не возвращает список, а возвращает итерируемый объект.

Используя итерируемый объект, мы можем переписать функцию fab как класс, поддерживающий итерируемый объект. Ниже приведена третья версия Fab:

Листинг 4. Третья версия

Пример

#!/usr/bin/python # -*- coding: UTF-8 -*- class Fab(object): def __init__(self, max): self.max = max self.n, self.a, self.b = 0, 0, 1 def __iter__(self): return self def next(self): if self.n < self.max: r = self.b self.a, self.b = self.b, self.a + self.b self.n = self.n + 1 return r raise StopIteration() for n in Fab(5): print n

Класс Fab непрерывно возвращает следующее число последовательности через next(), и использование памяти остаётся постоянным:

1 
1 
2 
3 
5

Однако эта версия, переписанная с использованием класса, гораздо менее лаконична, чем первая версия функции fab. Если мы хотим сохранить лаконичность первой версии функции fab и при этом добиться эффекта итерируемости, в игру вступает yield:

Листинг 5. Четвёртая версия с использованием yield

Пример

#!/usr/bin/python # -*- coding: UTF-8 -*- def fab(max): n, a, b = 0, 0, 1 while n < max: yield b # Использование yield # print b a, b = b, a + b n = n + 1 for n in fab(5): print n

По сравнению с первой версией, четвёртая версия fab просто заменяет print b на yield b, достигая эффекта итерируемости при сохранении лаконичности.

Вызов четвёртой версии fab точно такой же, как вызов второй версии fab:

1 
1 
2 
3 
5

Проще говоря, роль yield заключается в превращении функции в генератор. Функция с yield больше не является обычной функцией. Интерпретатор Python будет рассматривать её как генератор. Вызов fab(5) не выполнит функцию fab, а вернёт итерируемый объект! Когда выполняется цикл for, на каждой итерации выполняется код внутри функции fab. Когда он достигает yield b, функция fab возвращает значение итерации. На следующей итерации код продолжает выполняться с оператора после yield b, а локальные переменные функции выглядят точно так же, как перед последним прерыванием. Затем функция продолжает выполняться, пока снова не встретит yield.

Вы также можете вручную вызвать метод next() у fab(5) (поскольку fab(5) — это объект-генератор, у которого есть метод next()), что позволяет нам более ясно увидеть поток выполнения fab:

Листинг 6. Поток выполнения

>>>f = fab(5) >>> f.next() 1 >>> f.next() 1 >>> f.next() 2 >>> f.next() 3 >>> f.next() 5 >>> f.next() Traceback (most recent call last): File "<stdin>", строка 1, в <module> StopIteration

Когда функция завершает выполнение, генератор автоматически возбуждает исключение StopIteration, указывая, что итерация завершена. В цикле for не нужно обрабатывать исключение StopIteration; цикл завершится нормально.

Можно сделать следующие выводы:

Функция с yield — это генератор. В отличие от обычных функций, создание генератора выглядит как вызов функции, но он не выполняет код функции до тех пор, пока для него не будет вызван next() (в цикле for next() вызывается автоматически). Хотя поток выполнения по-прежнему следует ходу функции, он прерывается каждый раз, когда достигает оператора yield, и возвращает значение итерации. При следующем возобновлении выполнения он продолжается с оператора, следующего за yield. Это выглядит так, как будто функция была несколько раз прервана yield во время обычного выполнения, и каждое прерывание возвращает текущее значение итерации через yield.

Преимущества yield очевидны. Переписывание функции в виде генератора даёт ей возможность итерации. По сравнению с использованием экземпляра класса для сохранения состояния и вычисления следующего значения для next(), это не только лаконичнее в коде, но и исключительно ясно в потоке выполнения.

Как определить, является ли функция специальной функцией-генератором? Мы можем использовать isgeneratorfunction для проверки:

Листинг 7. Использование isgeneratorfunction для проверки

>>>from inspect import isgeneratorfunction >>> isgeneratorfunction(fab) True

Следует обратить внимание на различие между fab и fab(5). fab — это функция-генератор, тогда как fab(5) — это генератор, возвращаемый вызовом fab, так же как разница между определением класса и экземпляром класса:

Листинг 8. Определение класса и экземпляр класса

>>>import types >>> isinstance(fab, types.GeneratorType) False >>> isinstance(fab(5), types.GeneratorType) True
fab не является итерируемым, тогда как fab(5) является итерируемым:
>>>from collections import Iterable >>> isinstance(fab, Iterable) False >>> isinstance(fab(5), Iterable) True

Каждый вызов функции fab создаёт новый экземпляр генератора, и экземпляры не влияют друг на друга:

>>>f1 = fab(3) >>> f2 = fab(5) >>> print 'f1:', f1.next() f1: 1 >>> print 'f2:', f2.next() f2: 1 >>> print 'f1:', f1.next() f1: 1 >>> print 'f2:', f2.next() f2: 1 >>> print 'f1:', f1.next() f1: 2 >>> print 'f2:', f2.next() f2: 2 >>> print 'f2:', f2.next() f2: 3 >>> print 'f2:', f2.next() f2: 5

Роль return

В функции-генераторе, если нет return, по умолчанию выполнение продолжается до завершения функции. Если во время выполнения встречается return, она напрямую вызывает StopIteration, чтобы завершить итерацию.


Другой пример

Ещё один пример yield связан с чтением файлов. Если напрямую вызвать метод read() у файлового объекта, это может привести к непредсказуемому использованию памяти. Хороший подход — использовать буфер фиксированной длины для непрерывного чтения содержимого файла. С помощью yield нам больше не нужно писать класс итерации для чтения файлов, и можно легко реализовать чтение файлов:

Листинг 9. Ещё один пример yield

Пример

def read_file(fpath): BLOCK_SIZE = 1024 with open(fpath, 'rb') as f: while True: block = f.read(BLOCK_SIZE) if block: yield block else: return

Выше лишь кратко представлены базовые понятия и использование yield. В Python 3 yield имеет более мощные применения, которые мы обсудим в последующих статьях.

Примечание: весь код в этой статье протестирован и прошёл проверку в Python 2.7.

Исходный URL: https://www.ibm.com/developerworks/cn/opensource/os-cn-python-yield/