Равновесные стратегии. Биматричные игры
Что же делать участвующим в игре агентам? Как им определить, какая стратегия лучше других?
Давайте для начала поставим перед собой более скромную цель: определить, какие стратегии точно не подойдут.
Определение 1.2 . Стратегия агента называется доминируемой, если существует такая стратегия , что
В таком случае говорят, что доминирует над .
Иначе говоря, стратегия доминируема, если существует другая стратегия, которая не хуже в каждой точке, при любых возможных комбинациях стратегий других агентов. Значит, нет вообще никакой причины предпочитать , и ее можно просто отбросить при анализе.
Пример 1.4 . Вспомним пример 1.2, в котором полковник Блотто собирался расставить войска на поле . Если проанализировать матрицу из примера 1.2, станет очевидным, что стратегии , и доминируются другими: например, стратегия окажется лучше любой из них. Разумеется, то же самое верно и для противника Блотто. Таким образом, матрица существенно сократится.
Конец примера 1.4 .
Пример 1.5
. В примере 1.3, в котором мы обсуждали конкуренцию по Курно, было очень много доминируемых стратегий. Таковыми были все стратегии : они гарантированно приносили неположительную прибыль
, в то время как нулевая стратегия (, ничего не производить) гарантирует нулевую прибыль
. Поэтому сразу можно было ограничиться анализом квадрата 
в качестве множества
стратегий.
Конец примера 1.5 .
Правда, стоит заметить, что легко построить пример, в котором любая стратегия доминируема. Это будет значить, что некоторые стратегии эквивалентны, то есть доминируют друг над другом. В таких случаях хотя бы одну из них стоит оставить, а то совсем не из чего будет выбирать.
Продолжаем разговор. После доминируемых стратегий логично будет ввести доминантные стратегии .
Определение 1.3 . Стратегия агента называется доминантной , если всякая другая стратегия ею доминируется, то есть
Доминантная стратегия для агента - настоящее счастье. Ему вообще думать не надо: достаточно выбрать доминантную стратегию, все равно никакая другая ни при каком исходе ничего лучшего не даст.
Более того, если у всех агентов есть доминантные стратегии , то анализ такой игры закончится, не успев начаться. Можно с уверенностью сказать, что все агенты выберут свои доминантные стратегии .
Определение 1.4 . Равновесие в доминантных стратегиях для стратегической игры - это такой профиль стратегий , что для всякого агента стратегия является доминантной.
Такое равновесие является самым устойчивым из всех. В следующей лекции мы приведем пример из теории экономических механизмов, в котором возникает такое равновесие - так называемый аукцион Викри (см. теорему 2.1.
Но, к сожалению, счастье достижимо далеко не всегда. Ни в примере 1.1, ни в примере 1.2, ни в примере 1.3 никакого равновесия в доминантных стратегиях не получалось. Для каждой стратегии игрока там существовал профиль стратегий других игроков , в котором игроку было бы выгодно сменить на ту или иную .
Равновесие Нэша
В предыдущем параграфе мы обсудили, что если у агента есть доминантная стратегия , то ему вообще размышлять и беспокоиться не о чем: он может просто выбирать эту стратегию. Но что же делать участвующим в игре агентам, когда таких стратегий нет и не предвидится?
Тогда приходится учитывать не только свои собственные стратегии, но и стратегии других агентов. Учет этот приведет к понятию равновесия, сформулированному в 1950 году Джоном Нэшем .
Определение 1.5 . Равновесие Нэша в чистых стратегиях для стратегической игры - это такой профиль стратегий , что для всякого агента выполняется следующее условие:
Иначе говоря, как и прежде, агенту невыгодно отклоняться от избранной стратегии . Но теперь ему это невыгодно делать не абстрактно, при любом выборе стратегий у других агентов, а только в конкретном профиле стратегий .
Пример 1.6 . Продолжаем рассматривать беднягу Блотто. Матрица игры полковника без доминируемых стратегий была приведена в примере 1.4. Из матрицы легко видеть, что если один игрок выбирает стратегию , то от выбора другого уже ничего не зависит, то есть можно сказать, что другому тоже нет резона отклоняться от стратегии . Все это значит, что для данной игры профиль стратегий находится в равновесии Нэша.
Конец примера 1.6 .
Приведем и непрерывный пример - поверьте, нас еще ждут подобные рассуждения, и пора привыкать к чуть более серьезному анализу.
Пример 1.7
. Вернемся к анализу конкуренции по Курно из примера 1.3. На этот раз мы не будем ничего упрощать: пусть цена задается неизвестной функцией 
, а себестоимость производства для каждой фирмы - неизвестной функцией . Чтобы найти равновесие Нэша, найдем функцию лучшего ответа. Прибыль
компании определяется как
Чтобы определить максимум функции для фиксированного , нужно просто найти производную
и приравнять ее к нулю. Соответственно, равновесие Нэша достигается там, где обе фирмы выдают оптимальный ответ на стратегию противника, то есть на решениях следующей системы дифференциальных уравнений :
Оставим читателю удовольствие проверить, что в рассмотренном в примере 1.3 частном случае равновесием Нэша действительно будет точка пересечения прямых на рис. 1.1 .
Конец примера 1.7 .
В определении 1.5 упоминался странный термин " чистые стратегии ": а какими еще они бывают? Оказывается, что стратегии бывают не только чистыми, но и смешанными. Смешанные стратегии - логичное расширение понятия стратегии: давайте разрешим игроку не только выбирать одну из , но и делать из них более или менее случайный выбор.
Определение 1.6 . Смешанная стратегия для игрока в стратегической игре - это распределение вероятностей , где - множество всех распределений вероятностей над .
Смешанную стратегию также можно рассматривать как задание весов для каждой стратегии так, чтобы сумма (в непрерывном случае - интеграл ) всех весов была равна 1.
Бывают игры, где нет равновесий Нэша для чистых стратегий . Но оно всегда (в конечном случае) есть в смешанных стратегиях .
Пример 1.8 . Вспомним игру "камень-ножницы-бумага", матрицу которой мы уже выписывали в примере 1.1.
Очевидно, что никакого равновесия Нэша в чистых стратегиях здесь нет: для любой стратегии найдется кому ее опровергнуть. Но равновесие Нэша в смешанных стратегиях здесь имеется. Предположим, что второй игрок выбирает камень, ножницы или бумагу с вероятностью , а первый выбирает их с вероятностями , и . Тогда первый игрок выигрывает с вероятностью
а также проигрывает и делает ничью с той же вероятностью. Иначе говоря, если противник выбирает стратегию равновероятно, для игрока все стратегии эквивалентны. Поскольку игра симметрична, получается, что профиль смешанных стратегий
находится в равновесии.
Конец примера 1.8 .
Доказательство того, что равновесие в смешанных стратегиях всегда существует, следует из теоремы Какутани о неподвижной точке [ , ].
Теорема 1.1
(Какутани) Пусть - непустое выпуклое компактное подмножество
евклидова пространства
, а 
- многозначная функция
на с замкнутым графиком, такая, что множество непусто, замкнуто и выпукло для всех . Тогда у есть
Равновесие Нэша (Nash equilibrium ) - это такая ситуация, при которой ни один из игроков не может увеличить свой выигрыш, в одностороннем порядке меняя свое решение. Другими словами, равновесие Нэша - это положение, при котром стратегия обеих игроков является наилучшей реакцией на действия своего оппонента
Равновесие Нэша в чистых стратегиях для стратегической игры - это такой профиль стратегий, что для всякого агента выполняется следующее условие:
Если в игре каждый из противников применяет только одну и ту же стратегию, то про саму игру в этом случае говорят, что она происходит в чистых стратегиях , а используемые игроком А и игроком В пара стратегий называются чистыми стратегиями .
Определение. В антогонистической игре пара стратегий (А i , В j) называется равновесной или устойчивой, если ни одному из игроков не выгодно отходить от своей стратегии.
Применять чистые стратегии имеет смысл тогда, когда игроки А и В располагают сведениями о действиях друг друга и достигнутых результатах. Если допустим, что хотя бы одна из сторон не знает о поведении противника, то идея равновесия нарушается, и игра ведется бессистемно.
33. Функция Неймана- Моргенштерна в теории игр. Равновесие Байеса-Нэша
Систематическая же математическая теория игр была детально разработана американскими учёными Дж. Нейманом и О. Моргенштерном (1944) как средство математического подхода к явлениям конкурентной экономики. В ходе своего развития И. т. переросла эти рамки и превратилась в общую математическую теорию конфликтов.
Основным в И. т. является понятие игры, являющееся формализованным представлением о конфликте. Точное описание конфликта в виде игры состоит поэтому в указании того, кто и как участвует в конфликте, каковы возможные исходы конфликта, а также кто и в какой форме заинтересован в этих исходах. Участвующие в конфликте стороны называются коалициями действия; доступные для них действия - их стратегиями; возможные исходы конфликта - ситуациями (обычно каждая ситуация понимается как результат выбора каждой из коалиций действия некоторой своей стратегии); стороны, заинтересованные в исходах конфликта, - коалициями интересов; их интересы описываются предпочтениями тех или иных ситуаций (эти предпочтения часто выражаются численными выигрышами). Конкретизация перечисленных объектов и связей между ними порождает разнообразные частные классы игр.
Определить оптимальную стратегию можно:
- Равновесие Байеса-Нэша: если определено статистическое распределение встречаемого поведения (например, 33 % «око за око», 33 % всегда обманывают и 33 % всегда сотрудничают), то стратегию можно вычислить математически . Этим детально занимается теория эволюционной динамики.
Проявляет себя в реальности, дабы показать, что это понятие является не просто абстрактным термином, а обобщением реально существующей закономерности. Однако, несмотря на наглядность примера, на основании только его одного может показаться, что мы наткнулись на какой-то вырожденный случай. Поэтому имеет смысл рассмотреть и более общее описание данного правила.
Многие читатели, возможно, знакомы с равновесием Нэша по одному весьма распространённому его частному случаю - так называемой «дилемме заключённого». Его суть примерно в следующем.
В тюрьме находятся два заключённых, которых взяли с поличным по отдельности, но ещё подозревают в более тяжких преступлениях. Если участие докажут, то срок заключённых возрастёт до десяти лет. Сейчас же они отсиживают по году каждый. Следствие предлагает каждому из них пойти на сделку и дать показания против второго. В этом случае первому срок скостят до полугода, а второй сядет на десять. Однако заключённые понимают, что если они оговорят друг друга, то вряд ли их обоих пощадят - скорее добавят каждому ещё лет по пять.
Расклад можно отобразить при помощи следующей таблицы.
Легко видеть, что «зелёные» варианты (1, 2) и (2, 1) являются симметричными, в двух же других положение заключённых будет идентичным. Поэтому можно рассмотреть логику ситуации с точки зрения только одного из заключённых - для второго она будет такой же.
Заключённый, разумеется, хочет наименьшего срока для себя. Но если он будет хранить молчание, то, возможно, его коллега даст против него показания, чем повысит ему срок до десяти лет. Если бы не обещанное снижение срока, то можно было бы тешить себя мыслью «а зачем мне это?», но соблазн снизить срок слишком вели́к. Кроме того, второй заключённый, как понимает первый, будет подозревать его, первого, в том, что он даст показания против второго и повысит тем самым ему срок.
«Обидно будет оказаться крайним и загреметь на десять лет», - думает первый. Но «и второй наверняка думает так же, и так же подозревает меня, - понимает он, - а потому шансов, что коллега меня не заложит, очень мало. Выходит, надо давать показания: если второй каким-то чудом промолчит, то будет полгода, проговорится - пять. Ну хоть не десять, которые я неизбежно получу из-за разоткровенничавшегося со следствием моего подельника!».
«Оранжевый» вариант (1, 1) является удобоваримым для обоих и в каком-то смысле это оптимум в данной ситуации. Однако у каждого есть ещё лучший вариант - соответствующий «зелёный» (1, 2) или (2, 1). В результате чего на деле будет реализован «красный» вариант (2, 2).
Можно сказать, что для каждого из заключённых он не так плох: всего пять лет против десяти в «зелёном» варианте в пользу подельника. Однако представим, что в «красном» варианте обоим дадут по десять. Логика в данном случае чуть-чуть поменяется: «если я его сдам, то хотя бы есть шанс отвертеться от десяти лет, а если промолчу - шансов нет, он меня наверняка заложит по тем же соображениям». Однако тут система подталкивает заключённых выбрать наихудший вариант из возможных. Действуя, что характерно, строго ради своей выгоды.
Рассмотрим теперь ещё одну ситуацию. Есть две фирмы - А и Б. Каждая из них может воспользоваться стратегией - Икс или Игрек. Однако на результаты оказывает влияние не только стратегия, выбранная самой фирмой, но и стратегия второй фирмы тоже. Выигрыш или проигрыш каждой из фирм мы представим в виде следующей таблицы.
Я специально для повышения накала страстей подобрал числа так, чтобы убыточное для обеих фирм состояние лишь незначительно отличалось бы от «соседних» с ним: тем удивительнее, что будет реализовано именно оно. Фирмы, действуя строго в своих интересах, с большой вероятностью захотят получить тысячу рублей вместо ста и тем самым не получат ничего, а наоборот, даже утратят. Переход же одной из фирм на стратегию Икс ещё сильнее ухудшит её положение - другая фирма будет обогащаться, а вторая терять ещё больше, хотя и незначительно больше.
Запишем вышеприведённые матрицы в более общем виде, абстрагировавшись от «фирм», «заключённых», «сроков» и «рублей». Положим, что у нас просто есть два игрока А и Б, играющие в некоторую игру, где на каждом ходе можно совершить один из двух ходов - Икс или Игрек. Выигрышем являются просто некие «баллы», наибольшее число которых каждый игрок и стремится набрать.
| А делает ход Икс | А делает ход Игрек | |
| Б делает ход Икс | А: a 0 Б: b 0 |
А: a 1 > a 0 Б: b 1 < b 3 |
| Б делает ход Игрек | А: a 2 < a 3 Б: b 2 > b 0 |
А: b 3 Б: a 3 |
Правила игры, представленные данной матрицей, будут «подталкивать» игроков к реализации «красного» варианта (2, 2), даже если выигрыши игроков в этом случае существенно меньше, чем во всех остальных вариантах. Правда, в зависимости от соотношения выигрышей (которые могут быть в том числе отрицательными - то есть проигрышами), обозначенных буквами «a» и «b» с индексами, частота реализации каждого из вариантов будет разной.
В частности, на выбор может влиять среднее арифметическое выигрышей при выборе каждой из стратегий, а также предположительная вероятность, с которой игрок сделает тот или иной ход (которая, кстати, может быть аппроксимирована частотой ходов, сделанных в предыдущих раундах). Так, в простейшем случае игрок А для оценки хода Икс складывает a 0 и a 2 и делит результат на два, полагая выбор хода со стороны Б равновероятным. То же самое он проделывает для хода Игрек - складывает a 1 с a 3 , после чего делит результат на два - и сравнивает результаты. В более сложном случае игрок считает сумму a 0 *p x + a 2 *p y , где p x и p y - вероятности ходов Икс и Игрек, сделанных игроком Б. Результат сравнивается с a 1 *p x + a 3 *p y .
Можно было бы, конечно, снова поделить результат на два, но поскольку деление на два имеет место быть для обоих вариантов хода, для сравнения величин эта операция необязательна, как, впрочем, и в случае «равновероятных ходов».
Также игрок может ориентироваться на сами величины. Например, если один из ходов означает вероятный проигрыш - особенно крупный, такой, какой игрок не может себе позволить, - игрок, не исключено, будет выбирать другой ход, даже если предположительный выигрыш при другом ходе в среднем ниже, но зато в обоих случаях положительный.
Наконец, надо помнить, что люди часто, скажем так, «помнят о другом игроке». Если второй игрок - конкурент или даже враг, то, возможно, будет иметь место тенденция выбирать такой ход, который навредит другому игроку, даже если первый игрок из-за этого выиграет мало, и даже, не исключено, проиграет. Если второй игрок - друг, то чаще будет выбираться ход, позволяющий чуть-чуть выиграть и ему тоже - в том случае, если «игра» - это не заранее заявленное соревнование, а какой-то процесс из реальной жизни. Возможности мести и поблажек, разумеется, зависят от соотношений в матрице - при некоторых из них скорее забудут, что соперник - твой друг, чем начнут ему слегка подыгрывать.
Иными словами, рассматриваемый нами принцип отображает именно что тенденцию, а не детерминированность. Чем сильнее соотношения значений выигрышей и проигрышей подобны фигурировавшим в «дилемме заключённого», тем чаще и быстрее система будет подводить игроков к «наихудшему» варианту и тем «более наихудшим» будет этот вариант.
Есть как бы «невидимая рука рынка», которая как бы невидимо подталкивает игроков… ну, вы знаете. Точнее, нет, может быть, и не знаете. В классическом варианте «рука рынка» как бы подталкивает куда всем надо, а тут она толкает совсем не туда. Не во всеобщее благо, а в перманентный кризис, которого при иных раскладах можно было бы избежать, что нам иллюстрирует и «дилемма заключённого», и гипотетический пример с конкуренцией фирм, и реальный пример с неизбежным завышением сроков разработки софта, о котором речь шла в предыдущей статье.
Рынок толкает игроков к равновесию Нэша, которое сколь угодно далеко может отстоять от их общего и личного блага.
В данном случае мы рассматривали только двух игроков и игру с двумя ходами, однако возможно и более широкое обобщение, которое как раз и является формулировкой равновесия Нэша:
Если в некоторой игре с произвольными количеством игроков и матрицей выигрышей существует такое состояние, что при выборе не соответствующего ему хода любым из игроков в отдельности его личный выигрыш уменьшится, то это состояние окажется «равновесным» для данной игры.
Кроме того, в ряде случаев ходы игроков будут иметь тенденцию стремиться к этому состоянию, даже если в этой игре есть другие состояния, в рамках которых выигрыш игроков в целом и/или по отдельности выше.
Приводить примеры такого общего случая способом, подобным ранее использованному, ощутимо тяжелее, поскольку добавление каждого игрока будет добавлять ещё одно измерение к матрице выигрышей. Однако об этом - позже.
Равновесие Нэша – это часть теории игр, её автором выступил американский математик Джон Нэш. Эта теория демонстрирует оптимальную игру «в вакууме»: когда ставить олл-ин или коллировать пуш оппонентов. Важно понимать, что пуша/колла по Нэшу в современных покерных реалиях уже не является единственно верной. Она является оптимальной только при условии, если ваши оппоненты знают об этой стратегии и придерживаются её без отклонений.
Оптимально использовать стратегию пуш/фолда по Нэшу можно только против сильных и понимающих игроков. При минимальном отклонении эффективность этой стратегии значительно снижается. Наиболее выгодным вариантом использования равновесия Нэша является подстройка под оппонентов, и коррекция собственной игры на основе диапазонов соперников.
Где использовать равновесие Нэша?
Диапазоны равновесие Нэша подходят для игры в , Sit&Go и турнирах . Применять эту стратегию следуют, когда ваш стек опускается до 15 больших блайндов или ниже, и ваша игра сводится к одним пуш/фолд решениям. Чтобы отточить свое мастерство игры, вам следует использовать специальное программное обеспечение, которое моделирует такие ситуации: и ICMIZER.
Предположим, что ваш оппонент идет олл-ин, а у вас осталось 14 больших блайндов. По равновесию Нэша, вы можете коллировать с широким диапазоном рук, имея 20 BB, включая карманные тройки, QJ, QT и даже K2s.
Но это диапазон «в вакууме», который не учитывает тип турнира, стадию и разницу в выплатах. Эта стратегия является верной, но только при условии, что игра состоит только из двух решений префлоп: пуш или фолд. В современных реалиях сильные игроки способны сыграть глубокую постфлоп раздачу и со стеком в 15 больших блайндов.
Помимо использования равновесия Нэша, вы всегда можете просто подождать хорошей руки и заколлировать противника. Но если вы точно не знаете, что является хорошей рукой относительно размера вашего стека, то ориентируйтесь на таблицы Нэша.
Диапазон пуша Нэшу
Диапазон колла по Нэшу
Зеленый цвет – эффективный стек от 15 до 20 больших блайндов.
Желтый и темно-желтый цвет – эффективный стек от 6 до 14 больших блайндов.
Красный цвет – эффективный стек от 1 до 5 больших блайндов.
Использование в своей игре равновесия Нэша подойдет игрокам, поскольку предоставит первоначальное понимание о диапазонах пуша или колла для стандартных турнирных ситуаций и поможет достаточно быстро начать покером.
Возникшая в сороковых годах XX века математическая теория игр чаще всего применяется именно в экономике. Но как с помощью концепции игр смоделировать поведение людей в обществе? Зачем экономисты изучают, в какой угол чаще бьют пенальти футболисты, и как выиграть в «Камень, ножницы, бумагу» в своей лекции рассказал старший преподаватель кафедры микроэкономического анализа ВШЭ Данил Федоровых.
Джон Нэш и блондинка в баре
Игра - это любая ситуация, в которой прибыль агента зависит не только от его собственных действий, но и от поведения остальных участников. Если вы раскладываете дома пасьянс, с точки зрения экономиста и теории игр, это не игра. Она подразумевает обязательное наличие столкновения интересов.
В фильме «Игры разума» о Джоне Нэше, нобелевском лауреате по экономике, есть сцена с блондинкой в баре. В ней показана идея, за которую ученый и получил премию, - это идея равновесия по Нэшу, которое он сам называл управляющей динамикой.
Игра - любая ситуация, в которой выигрыши агентов зависят друг от друга.Стратегия - описание действий игрока во всех возможных ситуациях.
Исход - комбинация выбранных стратегий.
Итак, с точки зрения теории, игроками в этой ситуации являются только мужчины, то есть те, кто принимает решение. Их предпочтения просты: блондинка лучше брюнетки, а брюнетка лучше, чем ничего. Действовать можно двумя способами: пойти к блондинке или к «своей» брюнетке. Игра состоит из единственного хода, решения принимаются одновременно (то есть нельзя посмотреть, куда пошли остальные, и после походить самому). Если какая-то девушка отвергает мужчину, игра заканчивается: невозможно вернуться к ней или выбрать другую.
Каков вероятный финал этой игровой ситуации? То есть какова ее устойчивая конфигурация, из которой все поймут, что сделали лучший выбор? Во-первых, как правильно замечает Нэш, если все пойдут к блондинке, ничем хорошим это не кончится. Поэтому дальше ученый предполагает, что всем нужно пойти к брюнеткам. Но тогда, если известно, что все пойдут к брюнеткам, ему следует идти к блондинке, ведь она лучше.
В этом и заключается настоящее равновесие - исход, в котором один идет к блондинке, а остальные - к брюнеткам. Может показаться, что это несправедливо. Но в ситуации равновесия никто не может пожалеть о своем выборе: те, кто пойдут к брюнеткам, понимают, что от блондинки они все равно ничего б не получили. Таким образом, равновесие по Нэшу - это конфигурация, при которой никто по отдельности не хочет менять выбранную всеми стратегию. То есть, рефлексируя в конце игры, каждый участник понимает, что даже зная, как походят другие, он сделал бы то же самое. По-другому можно назвать это исходом, где каждый участник оптимальным образом отвечает на действия остальных.
«Камень, ножницы, бумага»
Рассмотрим другие игры на предмет равновесия. Например, в «Камне, ножницах, бумаге» нет равновесия по Нэшу: во всех ее вероятных исходах нет варианта, в котором оба участника были бы довольны своим выбором. Тем не менее, существует Чемпионат мира и World Rock Paper Scissors Society, собирающее игровую статистику. Очевидно, что вы можете повысить свои шансы на победу, если будете что-то знать об обычном поведении людей в этой игре.
Чистая стратегия в игре - это такая стратегия, при которой человек всегда играет одинаково, выбирая одни и те же ходы.
По данным World RPS Society, камень является самым часто выбираемым ходом (37,8%). Бумагу ставят 32,6%, ножницы - 29,6%. Теперь вы знаете, что нужно выбирать бумагу. Однако, если вы играете с тем, кто тоже это знает, вам уже не надо выбирать бумагу, потому что от вас ожидается то же самое. Есть знаменитый случай: в 2005 году два аукционных дома Sotheby“s и Christie”s решали, кому достанется очень крупный лот - коллекция Пикассо и Ван Гога со стартовой ценой в 20 миллионов долларов. Собственник предложил им сыграть в «Камень, ножницы, бумагу», и представители домов отправили ему свои варианты по электронной почте. Sotheby“s, как они позже рассказали, особо не задумываясь, выбрали бумагу. Выиграл Christie”s. Принимая решение, они обратились к эксперту - 11-летней дочери одного из топ-менеджеров. Она сказала: «Камень кажется самым сильным, поэтому большинство людей его выбирают. Но если мы играем не с совсем глупым новичком, он камень не выбросит, будет ожидать, что это сделаем мы, и сам выбросит бумагу. Но мы будем думать на ход вперед, и выбросим ножницы».
Таким образом, вы можете думать на ход вперед, но это не обязательно приведет вас к победе, ведь вы можете не знать о компетенции вашего соперника. Поэтому иногда вместо чистых стратегий правильнее выбирать смешанные, то есть принимать решения случайно. Так, в «Камне, ножницах, бумаге» равновесие, которое мы до этого не нашли, находится как раз в смешанных стратегиях: выбирать каждый из трех вариантов хода с вероятностью в одну третью. Если вы будете выбирать камень чаще, соперник скорректирует свой выбор. Зная это, вы скорректируете свой, и равновесия не выйдет. Но никто из вас не начнет менять поведение, если каждый просто будет выбирать камень, ножницы или бумагу с одинаковой вероятностью. Все потому что в смешанных стратегиях по предыдущим действиям невозможно предугадать ваш следующий ход.
Смешанные стратегии и спорт
Более серьезных примеров смешанных стратегий очень много. Например, куда подавать в теннисе или бить/принимать пенальти в футболе. Если вы ничего не знаете о вашем сопернике или просто постоянно играете против разных, лучшей стратегией будет поступать более-менее случайно. Профессор Лондонской школы экономики Игнасио Паласиос-Уэрта в 2003 году опубликовал в American Economic Review работу, суть которой заключалась в поиске равновесия по Нэшу в смешанных стратегиях. Предметом исследования Паласиос-Уэрта выбрал футбол и в связи с этим просмотрел более 1400 ударов пенальти. Разумеется, в спорте все устроено хитрее, чем в «Камне, ножницах, бумаге»: там учитывается сильная нога спортсмена, попадания в разные углы при ударе со всей силы и тому подобное. Равновесие по Нэшу здесь заключается в расчете вариантов, то есть, к примеру, определении углов ворот, в которые надо бить, чтобы выиграть с большей вероятностью, зная свои слабые и сильные стороны. Статистика по каждому футболисту и найденное в ней равновесие в смешанных стратегиях, показало, что футболисты поступают примерно так, как предсказывают экономисты. Вряд ли стоит утверждать, что люди, которые бьют пенальти, читали учебники по теории игр и занимались довольно непростой математикой. Скорее всего, есть разные способы научиться оптимально себя вести: можно быть гениальным футболистом, и чувствовать, что делать, а можно - экономистом, и искать равновесие в смешанных стратегиях.
В 2008 году профессор Игнасио Паласиос-Уэрта познакомился с Авраамом Грантом, тренером «Челси», который играл тогда в финале Лиги чемпионов в Москве. Ученый написал записку тренеру с рекомендациями по серии пенальти, которые касались поведения вратаря соперника - Эдвина ван дер Сара из «Манчестер Юнайтед». Например, по статистике, он почти всегда отбивал удары на среднем уровне и чаще бросался в естественную для пробивающего пенальти сторону. Как мы определили выше, правильнее все-таки рандомизировать свое поведение с учетом знаний о сопернике. Когда счет по пенальти был уже 6:5, Николя Анелька, нападающий «Челси», должен был забивать. Показывая перед ударом в правый угол, ван дер Сар будто спросил у Анелька, не собирается ли он бить туда.
Суть в том, что все предыдущие удары «Челси» были нанесены именно в правый от пробивающего угол. Мы не знаем точно почему, может быть, из-за консультации экономиста бить в неестественную для них сторону, ведь по статистике к этому менее готов ван дер Сар. Большинство футболистов «Челси» были правшами: ударяя в неестественный для себя правый угол, все они, кроме Терри, забивали. Видимо, стратегия была в том, чтобы Анелька пробил туда же. Но ван дер Сар, похоже, это понял. Он поступил гениально: показал в левый угол дескать «туда собрался бить?», от чего Анелька, наверное, пришел в ужас, ведь его разгадали. В последний момент он принял решение действовать по-другому, ударил в естественную для себя сторону, что и было нужно ван дер Сару, который взял этот удар и обеспечил «Манчестеру» победу. Эта ситуация учит случайному выбору, ведь в ином случае ваше решение может быть просчитано, и вы проиграете.
«Дилемма заключенного»
Наверное, самая известная игра, с которой начинаются университетские курсы о теории игр, - это «Дилемма заключенного». По легенде двух подозреваемых в серьезном преступлении поймали и заперли в разные камеры. Есть доказательство, что они хранили оружие, и это позволяет посадить их на какой-то небольшой срок. Однако доказательств, что они совершили это страшное преступление, нет. Каждому по отдельности следователь рассказывает об условиях игры. Если оба преступника сознаются, оба же сядут на три года. Если сознается один, а подельник будет молчать, сознавшийся выйдет сразу, а второго посадят на пять лет. Если, наоборот, первый не сознается, а второй его сдаст, первый сядет на пять лет, а второй выйдет сразу. Если же не сознается никто, оба сядут на год за хранение оружия.
Равновесие по Нэшу здесь заключается в первой комбинации, когда оба подозреваемых не молчат и оба садятся на три года. Рассуждения каждого таковы: «если я буду говорить, я сяду на три года, если молчать - на пять лет. Если второй будет молчать, мне тоже лучше говорить: не сесть лучше, чем сесть на год». Это доминирующая стратегия: говорить выгодно, независимо от того, что делает другой. Однако в ней есть проблема - наличие варианта получше, ведь сесть на три года хуже, чем сесть на год (если рассматривать историю только с точки зрения участников и не учитывать вопросы морали). Но сесть на год невозможно, ведь, как мы поняли выше, молчать обоим преступникам невыгодно.
Улучшение по Парето
Есть известная метафора про невидимую руку рынка, принадлежащая Адаму Смиту. Он говорил, что если мясник будет сам для себя стараться заработать деньги, от этого будет лучше всем: он сделает вкусное мясо, которое купит булочник на деньги от продажи булок, которые он, в свою очередь, тоже должен будет делать вкусными, чтобы они продавались. Но оказывается, эта невидимая рука не всегда работает, и таких ситуаций, когда каждый действует за себя, а всем плохо, очень много.
Поэтому иногда экономисты и специалисты по теории игр думают не об оптимальном поведении каждого игрока, то есть не о равновесии по Нэшу, а об исходе, при котором будет лучше всему обществу (в «Дилемме» общество состоит из двух преступников). С этой точки зрения, исход эффективен, когда в нем нет улучшения по Парето, то есть невозможно сделать кому-то лучше, не сделав при этом хуже другим. Если люди просто меняются товарами и услугами, это Парето-улучшение: они делают это добровольно, и вряд ли кому-то от этого плохо. Но иногда, если просто дать людям взаимодействовать и даже не вмешиваться, то, к чему они придут, не будет оптимальным по Парето. Это и происходит в «Дилемме заключенного». В ней, если мы даем каждому действовать так, как им выгодно, оказывается, что всем от этого плохо. Всем было бы лучше, если бы каждый действовал не оптимально для себя, то есть молчал.
Трагедия общины
«Дилемма заключенного» - это игрушечная стилизованная история. Вряд ли вы ожидаете оказаться в подобной ситуации, но похожие эффекты есть везде вокруг нас. Рассмотрим «Дилемму» с большим количеством игроков, ее иногда называют трагедией общины. Например, на дорогах - пробки, и я решаю, как ехать на работу: на машине или на автобусе. Это же делают остальные. Если я поеду на машине, и все решат сделать то же самое, будет пробка, но мы доедем с комфортом. Если я поеду на автобусе, пробка-то все равно будет, но ехать я буду некомфортно и не особо быстрее, поэтому такой исход еще хуже. Если же в среднем все ездят на автобусе, то я, сделав то же самое, довольно быстро доеду без пробки. Но если при таких условиях поехать на машине, я тоже доеду быстро, но еще и с комфортом. Итак, наличие пробки не зависит от моих действий. Равновесие по Нэшу здесь - в ситуации, когда все выбирают ехать на машине. Что бы не делали остальные, мне лучше выбрать машину, потому что будет там пробка или нет, неизвестно, но я в любом случае доеду с комфортом. Это доминирующая стратегия, поэтому в итоге все едут на машине, и мы имеем то, что имеем. Задача государства - сделать поездку на автобусе лучшим вариантом хотя бы для некоторых, поэтому появляются платные въезды в центр, парковки и так далее.
Другая классическая история - рациональное незнание избирателя. Представьте, что вы не знаете исход выборов заранее. Вы можете изучить программу всех кандидатов, послушать дебаты и после проголосовать за самого лучшего. Вторая стратегия - прийти на участок и проголосовать как попало или за того, кого чаще показывали по телевизору. Какое поведение оптимально, если от моего голоса никогда не зависит, кто выиграет (а в 140-миллионной стране один голос никогда ничего не решит)? Конечно, я хочу, чтобы в стране был хороший президент, но я же знаю, что никто больше не будет изучать программы кандидатов внимательно. Поэтому не тратить на это время - доминирующая стратегия поведения.
Когда вас призывают прийти на субботник, ни от кого в отдельности не будет зависеть, станет двор чистым или нет: если я выйду один, я не смогу убрать все, или, если выйдут все, то не выйду я, потому что все и без меня уберут. Другой пример - перевозка грузов в Китае, о котором я узнал в замечательной книге Стивена Ландсбурга «Экономист на диване». 100-150 лет назад в Китае был распространен способ перевозки грузов: все складывалось в большой кузов, который тащили семь человек. Заказчики платили, если груз доставлялся вовремя. Представьте, что вы - один из этих шести. Вы можете прилагать усилия, и тянуть изо всех сил, и если все будут так делать, груз доедет вовремя. Если кто-нибудь один так делать не будет, все тоже доедут вовремя. Каждый думает: «Если все остальные тянут как следует, зачем это делать мне, а если все остальные тянут не со всей силы, то я ничего не смогу изменить». В итоге, со временем доставки все было очень плохо, и сами грузчики нашли выход: они стали нанимать седьмого и платить ему деньги за то, чтобы он стегал лентяев плетью. Само наличие такого человека заставляло всех работать изо всех сил, потому что иначе все попадали в плохое равновесие, из которого никому в отдельности с выгодой не выйти.
Такой же пример можно наблюдать в природе. Дерево, растущее в саду, отличается от того, что растет в лесу, своей кроной. В первом случае она окружает весь ствол, во втором - находится только вверху. В лесу это является равновесием по Нэшу. Если бы все деревья договорились и выросли одинаково, они бы поровну распределили количество фотонов, и всем было бы лучше. Но никому в отдельности так делать невыгодно. Поэтому каждое дерево хочет вырасти немного выше окружающих.
Сommitment device
Во многих ситуациях одному из участников игры может понадобиться инструмент, который убедит остальных, что тот не блефует. Он называется commitment device. Например, закон некоторых стран запрещает платить выкуп похитителям людей, чтобы снизить мотивацию преступников. Однако это законодательство часто не работает. Если вашего родственника захватили, и у вас есть возможность спасти его, обойдя закон, вы это сделаете. Представим ситуацию, что закон можно обойти, но родственники оказались бедными и выкуп им платить нечем. У преступника в этой ситуации два пути: отпустить или убить жертву. Убивать он не любит, но тюрьму он не любит больше. Отпущенный пострадавший, в свою очередь, может либо дать показания, чтобы похититель был наказан, либо молчать. Самый лучший исход для преступника: отпустить жертву, которая его не сдаст. Жертва же хочет быть отпущенной и дать показания.
Равновесие здесь в том, что террорист не хочет быть пойманным, а значит, жертва погибает. Но это не равновесие по Парето, потому что существует вариант, при котором всем лучше - жертва на свободе хранит молчание. Но для этого надо сделать так, чтобы молчать ей было выгодно. Где-то я прочитал вариант, когда она может попросить террориста устроить эротическую фотосессию. Если преступника посадят, его подельники выложат фотографии в интернет. Теперь, если похититель останется на свободе - это плохо, но фотографии в открытом доступе - еще хуже, поэтому получается равновесие. Для жертвы это способ остаться в живых.
Другие примеры игр:
Модель Бертрана
Раз уж мы говорим об экономике, рассмотрим экономический пример. В модели Бертрана два магазина продают один и тот же товар, покупая его у производителя по одной цене. Если цены в магазинах одинаковы, то примерно одинакова и их прибыль, ведь тогда покупатели выбирают магазин случайно. Единственное равновесие по Нэшу здесь - продавать товар по себестоимости. Но магазины хотят зарабатывать. Поэтому если один поставит цену 10 рублей, второй снизит ее на копейку, увеличив тем самым свою выручку вдвое, так как к нему уйдут все покупатели. Поэтому участникам рынка выгодно снижать цены, распределяя тем самым прибыль между собой.
Разъезд на узкой дороге
Рассмотрим примеры выбора между двумя возможными равновесиями. Представьте, что Петя и Маша едут навстречу друг другу по узкой дороге. Дорога настолько узкая, что им обоим нужно съехать на обочину. Если они решат повернуть налево или направо от себя, они просто разъедутся. Если же один повернет направо, а другой налево от себя, или наоборот, случится авария. Как выбрать, куда съехать? Чтобы помогать искать равновесие в подобных играх, существуют, например, правила дорожного движения. В России каждому нужно повернуть направо.
В забаве Chiken, когда два человека едут на большой скорости навстречу друг другу, тоже есть два равновесия. Если оба сворачивают на обочину, возникает ситуация, которая называется Chiken out, если оба не сворачивают, то погибают в страшной аварии. Если я знаю, что мой соперник едет прямо, мне выгодно съехать, чтобы выжить. Если я знаю, что мой соперник съедет, то мне выгодно ехать прямо, чтобы после получить 100 долларов. Сложно предсказать, что случится на самом деле, однако, у каждого из игроков есть свой метод выиграть. Представьте, что я закрепил руль так, что его нельзя повернуть, и показал это своему сопернику. Зная, что у меня нет выбора, соперник отскочит.
QWERTY-эффект
Иногда бывает очень сложно перейти из одного равновесия в другое, даже если оно означает пользу для всех. Раскладка QWERTY была создана, чтобы замедлить скорость печати. Поскольку если бы все печатали слишком быстро, головки печатной машинки, которые бьют по бумаге, цеплялись бы друг за друга. Поэтому Кристофер Шоулз разместил часто стоящие рядом буквы на максимально далеком расстоянии. Если вы зайдете в настройки клавиатуры на своем компьютере, вы сможете выбрать там раскладку Dvorak и печатать гораздо быстрее, так как сейчас нет проблемы аналоговых печатных машин. Дворак рассчитывал, что мир перейдет на его клавиатуру, но мы по-прежнему живем с QWERTY. Конечно, если бы мы перешли на раскладку Дворака, будущее поколение было бы нам благодарно. Все мы приложили бы усилия и переучились, в результате вышло бы равновесие, в котором все печатают быстро. Сейчас мы тоже в равновесии - в плохом. Но никому не выгодно быть единственным, кто переучится, потому что за любым компьютером, кроме личного, работать будет неудобно.
