Python/Функциональное программирование на Python

Функциональное программирование является одной из парадигм, поддерживаемых языком программирования Python. Основными предпосылками для полноценного функционального программирования в Python являются: функции высших порядков, развитые средства обработки списков, рекурсия, возможность организации ленивых вычислений. Элементы функционального программирования в Python могут быть полезны любому программисту, так как позволяют гармонично сочетать выразительную мощность этого подхода с другими подходами.

Возможности

Определение и использование функции

Функция в Python может быть определена с помощью оператора def или лямбда-выражением. Следующие операторы эквивалентны:

def func(x, y):
    return x**2 + y**2

func = lambda x, y: x**2 + y**2

В определении функции фигурируют формальные аргументы. Некоторые из них могут иметь значения по умолчанию. Все аргументы со значениями по умолчанию следуют после аргументов без значений по умолчанию.

При вызове функции задаются фактические аргументы. Например:

func(2, y=7)

В начале идут позиционные аргументы. Они сопоставляются с именами формальных аргументов по порядку. Затем следуют именованные аргументы. Они сопоставляются по именам и могут быть заданы в вызове функции в любом порядке. Разумеется, все аргументы, для которых в описании функции не указаны значения по умолчанию, должны присутствовать в вызове функции. Повторы в именах аргументов недопустимы.

Функция всегда возвращает только одно значение (или None, если значение не задано в операторе return или этот оператор не встречен по достижении конца определения функции). Однако, это незначительное ограничение, так как возвращаемым значением может быть кортеж.

Определив функцию с помощью лямбда-выражения, можно тут же её использовать:

>>> (lambda x: x+2)(5)
7

Лямбда-выражения удобны для определения не очень сложных функций, которые передаются затем другим функциям.

Функции в Python являются объектами первого класса, то есть, они могут употребляться в программе наравне с объектами других типов данных.

Списковые включения

w:Списковое включение^[1] (англ. list comprehension) — наиболее выразительное из функциональных средств Python. Например, для вычисления списка квадратов положительных целых чисел, меньших 10, можно использовать выражение:

l = [x**2 for x in range(1,10)]

Встроенные функции высших порядков

В Python есть функции, одним из аргументов которых являются другие функции: map(), filter(), reduce(), apply().

map()

Функция map() позволяет обрабатывать одну или несколько последовательностей с помощью заданной функции:

>>> list1 = [7, 2, 3, 10, 12]
>>> list2 = [-1, 1, -5, 4, 6]
>>> map(lambda x, y: x*y, list1, list2)
[-7, 2, -15, 40, 72]

Аналогичного (только при одинаковой длине списков) результата можно добиться с помощью списочных выражений:

>>> [x*y for x, y in zip(list1, list2)]
[-7, 2, -15, 40, 72]

filter()

Функция filter() позволяет фильтровать значения последовательности. В результирующем списке только те значения, для которых значение функции для элемента истинно:

>>> numbers = [10, 4, 2, -1, 6]
>>> filter(lambda x: x < 5, numbers)     # В результат попадают только те элементы x, для которых x < 5 истинно
[4, 2, -1]

То же самое с помощью списковых выражений:

>>> numbers = [10, 4, 2, -1, 6]
>>> [x for x in numbers if x < 5]
[4, 2, -1]

reduce()

Для организации цепочечных вычислений в списке можно использовать функцию reduce(). Например, произведение элементов списка может быть вычислено так (Python 2):

>>>from functools import reduce
>>>numbers = [2, 3, 4, 5, 6]
>>> reduce(lambda res, x: res*x, numbers, 1)
720

Вычисления происходят в следующем порядке:

(((2*3)*4)*5)*6

Цепочка вызовов связывается с помощью промежуточного результата (res). Если список пустой, просто используется третий параметр (в случае произведения нуля множителей это 1):

>>> reduce(lambda res, x: res*x, [], 1)
1

Разумеется, промежуточный результат необязательно число. Это может быть любой другой тип данных, в том числе и список. Следующий пример показывает реверс списка:

>>> reduce(lambda res, x: [x]+res, [1, 2, 3, 4], [])
[4, 3, 2, 1]

Для наиболее распространенных операций в Python есть встроенные функции:

>>> numbers = [1, 2, 3, 4, 5]
>>> sum(numbers)
15
>>> list(reversed(numbers))
[5, 4, 3, 2, 1]

В Python 3 встроенной функции reduce() нет, но её можно найти в модуле functools.

apply()

Функция для применения другой функции к позиционным и именованным аргументам, заданным списком и словарем соответственно (Python 2):

>>> def f(x, y, z, a=None, b=None):
...     print x, y, z, a, b
...
>>> apply(f, [1, 2, 3], {'a': 4, 'b': 5})
1 2 3 4 5

В Python 3 вместо функции apply() следует использовать специальный синтаксис:

>>> def f(x, y, z, a=None, b=None):
...     print(x, y, z, a, b)
...
>>> f(*[1, 2, 3], **{'a': 4, 'b': 5})
1 2 3 4 5

Замыкания

Функции, определяемые внутри других функций, представляют собой полноценные замыкания (англ. closures)^[2]:

def multiplier(n):
    "multiplier(n) возвращает функцию, умножающую на n"
    def mul(k):
        return n*k
    return mul
# того же эффекта можно добиться выражением
# multiplier = lambda n: lambda k: n*k
mul2 = multiplier(2) # mul2 - функция, умножающая на 2, например, mul2(5) == 10

Итераторы

Другие средства функционального программирования доступны из стандартной библиотеки (например, модуль itertools) и других библиотек.

Следующий пример иллюстрирует применение перечисляющего и сортирующего итераторов (итератор не может быть напечатан оператором print, поэтому оставшиеся в нем значения были помещены в список):

>>> it = enumerate(sorted("PYTHON"))  # итератор для перечисленных отсортированных букв слова
>>> it.next()                         # следующее значение
(0, 'H')
>>> print list(it)                    # оставшиеся значения в виде списка
[(1, 'N'), (2, 'O'), (3, 'P'), (4, 'T'), (5, 'Y')]

Следующий пример иллюстрирует использование модуля itertools:

>>> from itertools import chain
>>> print list(chain(iter("ABC"), iter("DEF")))
['A', 'B', 'C', 'D', 'E', 'F']

В следующем примере иллюстрируется функция groupby (группировать по), с помощью которой порождается список пар значение ключа и соответствующий ключу итератор (в этот итератор собраны все значения исходного списка с одинаковым значением ключа). В примере ключом является True или False в зависимости от положительности значения. (Для целей вывода каждый итератор превращается в список).

from math import cos
from itertools import groupby
lst = [cos(x*.4) for x in range(30)]                       # косинусоида
[list(y) for k, y in groupby(lst, lambda x: x > 0)]        # группы положительных и отрицательных чисел

В модуле itertools есть и другие функции для работы с итераторами, позволяющие кратко (в функциональном стиле) и с вычислительной точки зрения — эффективно — выразить требуемые процессы обработки списков.

Модуль functools

В Python 2.5 появился модуль functools и в частности возможность частичного применения функций:

>>> from  functools import partial
>>> def myfun(a, b): return a + b
...
>>> myfun1 = partial(myfun, 1)
>>> print myfun1(2)
3

(Частичное применение функций также можно реализовать с помощью замыканий или функторов)

Ленивые вычисления

Ленивые вычисления можно организовать в Python несколькими способами, используя различные механизмы:

простейшие логические операции or и and не вычисляют второй операнд, если результат определяется первым операндом
лямбда-выражения
определенные пользователем классы с ленивой логикой вычислений^[3] или функторы
Генераторы и генераторные выражения
(Python 2.5) if-выражение имеет «ленивую» семантику (вычисляется только тот операнд, который нужен)

Пример, который иллюстрирует работу if-выражения. С помощью оператора print можно проследить, какие функции реально вызывались:

>>> def f():
...     print "f"
...     return "f"
...
>>> def g():
...     print "g"
...     return "g"
...
>>> f() if True else g()
f
'f'
>>> f() if False else g()
g
'g'

Некоторые примеры из книги рецептов:

Ленивая сортировка^[4]
Ленивый обход графа^[5]
Ленивое вычисление свойств^[6]
Карринг^[7]

Функторы

Функторами называют объекты, синтаксически подобные функциям, то есть поддерживающие операцию вызова. Для определения функтора нужно перегрузить оператор () с помощью метода __call__. В Python функторы полностью аналогичны функциям, за исключением специальных атрибутов (func_code и некоторых других). Например, функторы можно передавать в качестве функций обратного вызова (callback) в С-код. Функторы позволяют заменить некоторые приёмы, связанные с использованием замыкания, статических переменных и т. п.

Ниже представлено замыкание и эквивалентный ему функтор:

def addClosure(val1):
    def closure(val2):
        return val1 + val2
    return closure
    
class AddFunctor(object):
    def __init__(self, val1):
        self.val1 = val1
    def __call__(self, val2):
        return self.val1 + val2

cl = addClosure(2)
fn = AddFunctor(2)

print cl(1), fn(1)  # напечатает "3 3"

Следует отметить, что код, использующий замыкание, будет исполняться быстрее, чем код с функтором. Это связанно с необходимостью получения атрибута val у переменной self (то есть функтор проделывает на одну Python операцию больше). Также функторы нельзя использовать для создания декораторов с параметрами. С другой стороны, функторам доступны все возможности ООП в Python, что делает их очень полезными для функционального программирования. Например, можно написать функтор, который будет «запоминать» исполняемые над ним операции и затем повторять их. Для этого достаточно соответствующим образом перегрузить специальные методы.

class SlowFunctor(object):
	def __init__(self,func):
		self.func = func
	def __add__(self,val):                  # сложение функтора с чем-то
		if isinstance(val,SlowFunctor): # если это функтор
			new_func = lambda *dt,**mp : self(*dt,**mp) + val(*dt,**mp)
		else:                           # если что-то другое
			new_func = lambda *dt,**mp : self(*dt,**mp) + val
		return SlowFunctor( new_func )
	def __call__(self,*dt):
		return self.func(*dt)

import math
def test1(x):
    return x + 1
def test2(x):
    return math.sin(x)

func = SlowFunctor(test1)                # создаем функтор
func = func + SlowFunctor(test2)         # этот функтор можно складывать с функторами
func = (lambda x : x + 2)(func)          # и числами, передавать в качестве параметра в функции
                                         # как будто это число

def func2(x):                            # Эквивалентная функция
    return test1(x) + test2(x) + 2

print func(math.pi)                      # печатает 3.14159265359
print func(math.pi) - func2(math.pi)     # печатает 0.0

Функторы привносят в Python возможность ленивых вычислений, присущую функциональным языкам: вместо вычисления результата выражения — динамическое определение новых функций комбинированием имеющихся.

Определенный подобным образом функтор создает значительные накладные расходы, так как при каждом вызове проходит по вызовам всех вложенных lambda. Можно оптимизировать функтор, применив технику генерирования байткода во время исполнения. Соответствующий пример и тесты на скорость есть в Примерах Python программ. При использовании этой техники скорость исполнения не будет отличаться от «статического» кода (если не считать времени, требующегося на однократное конструирование результирующей функции). Вместо байтокода Python можно генерировать на выходе, например, код на языке программирования C, других языках программирования или XML-файлы.

Несмотря на накладные расходы, ленивое вычисление может дать заметный выигрыш в скорости в случаях, когда действия, оборачиваемые ленивым функтором, достаточно дороги — например, включают объёмные вычисления или доступ к диску. Предположим некоторый промежуточный результат X лениво вычисляется перед условным оператором; для него будет создана цепочка функторов. В той ветке условного оператора, где значение X не требуется по ходу вычисления, эта цепочка функторов будет просто отброшена, не приведя к дорогостоящему вычислению. В другой ветке, где X требуется для вычисления конечного результата функции, цепочка функторов произведёт его вычисление. При этом программисту не нужно отслеживать, в какой из веток алгоритма значение может не потребоваться: он может рассчитывать, что дорогостоящее вычисление X произойдёт только тогда, когда его результат не будет отброшен.

Примечания

Ссылки

Functional Programming with Python, Pramode C.E., Linux Gazette, 2004
Charming Python: Functional programming in Python, David Mertz
Набор инструментов Xoltar для ФП (и не только)
Functional Programming HOWTO, A. M. Kuchling
Closures (Re: функциональное программирование на Python)

Литература

Прохоренок Н. А. Python. Самое необходимое. — БХВ-Петербург, 2011. — 416 с. — ISBN 978-5-9775-0614-4
David M. Beazley Python Essential Reference, 4th Edition. — Addison-Wesley Professional, 2010. — 744 с. — ISBN 978-0-672-32978-4 Часть главы 6 на LinuxJournal: Functions and functional programming(англ.)
Mark Pilgrim. Dive Into Python. — Apress, 2004. — 413 с. — ISBN 9781590593561. Глава о функциональном программировании(англ.)
David Mertz Functional Programming in Python. — O'Reilly, 2015. — ISBN 978-1-491-92856-1(англ.)
Steven Lott Functional Python Programming. — Packt Publishing Ltd, 2015. — 360 p. — ISBN 978-1-78439-761-6(англ.)

[Прохоренок—2011——123-124-1] Прохоренок, 2011, с. 123-124

[2] Dive into Python 3, Ch. 6. Closures and Generators

[lazypy-3] Пакет lazypy

[4] Lazy sorting

[5] Lazy Traversal of Directed Graphs

[6] Lazy property evaluation

[7] urry - associating parameters with a function

[1]

[2]

[3]

[4]

[5]

[6]

[7]