Загадочный овербет искусственного интеллекта

8 мая 2015 года в казино Rivers в Питтсбурге завершился марафонский матч по дубликатному покеру между четырьмя регулярами HU NLHE во главе с Дугласом Полком и ботом Клодико, разработанным в университете Карнеги – Меллон. Освежить воспоминания об этом событии можно с помощью материалов на нашем сайте:

NLHU – человек против машины
Хэдз-ап против бота: люди пока сильнее

В ходе матча, который транслировался в прямом эфире на нескольких каналах Twitch.tv, было сыграно немало любопытных раздач, связанных с большими овербетами. Одну из них подробно разобрали на форуме Run It Once покерные теоретики Бен Сульски и Game Theory.

Game Theory
HU NLHE, стеки по 200 больших блайндов. На баттоне Клодико, на большом блайнде Джейсон Лес.

Блайнды 50/100
Клодико рэйзит до 250, Джейсон Лес делает колл с As 2h .

Флоп Ah 3s 4s (500)

Джейсон Лес ставит 100 (тактику небольших донкбетов против бота регулярно применяли в этом матче все его участники), Клодико делает колл.

Тёрн Ah 3s 4s Qs (700)

Джейсон Лес – чек, Клодико ставит 525, Джейсон Лес – колл.

Ривер Ah 3s 4s Qs 8d (1750)

Джейсон Лес – чек, Клодико ставит 19,125, Джейсон Лес начинает думать...

C каким диапазоном вы заколлируете и включает ли он в себя As 2h ?

Game Theory
Если коллировать только с флешами и голым тузом пик, для бота нет смысла пушить с 5x 2x или двумя парами, так как он никогда не будет старше в случае колла. (Конечно, это зависит от того, как много этих рук в диапазоне Леса после чек-колла тёрна.)

Впрочем, беспокоиться об этом не стоит, так как с этими комбинациями есть значительно лучший вариант розыгрыша – ставка меньшего размера.

dodgybob
Меня удивляет, что в стратегическом арсенале бота есть такой огромный овербет без натса или натсового блокера.

Если предположить, что его диапазон блефа включает в себя в основном руки с тузом пик, нам лучше выбирать для блефкетчера руки без As .

GameTheory
Я считаю этот сайзинг плохим, учитывая диапазон бота. Он заколлировал очень маленький лид на флопе и сделал ставку нормального размера на тёрне. Если бы он сыграл рэйз на флопе и/или поставил приличный овербет на тёрне, шоудаун-вэлью его слабейших комбинаций с тузом пик (от As 2x до As 5x ) было бы заметно ниже. Такая линия позволила бы ему не сжигать EV, блефуя олл-ином c натсовым блокером.

Если блефовать без туза пик и ставить олл-ин для вэлью только с натсовым флешем, все руки с пиковым тузом становятся идеальным блефкетчером для Джейсона Леса. Позволить Лесу делать сверхвыгодные коллы с As x было бы катастрофой.

Если блефовать без туза пик и добирать не только с натсовым флешем, сайзинг становится чрезмерным, так как младшие флеши будут проигрывать старшим флешам 11 банков слишком часто.

Можно сделать вывод, что либо бот предполагает, что в диапазоне Джейсона Леса слишком мало пиковых тузов и флешей, либо игра на ривере запрограммирована с ошибкой.

Бен Сульски
Моя первая гипотеза: диапазон бота должен состоять в основном из натсового флеша и воздуха. Проблема с ней в том, что лучшая карта для блефа – это туз пик, но EV олл-ина с As x не может быть выше чека или небольшого вэльюбета, если только соперник не фолдит 95% своего диапазона.

Также следует учесть, что если бот блефует без туза пик (с другим пиковым блокером или даже без него), значительную часть диапазона GTO-колла на ривере составят натсовые флеши. Я практически уверен в том, что равновесная стратегия для игрока на ББ будет включать чек-колл тёрна с частью As spade , поэтому бот не может «предполагать» у соперника капнутый диапазон, и вообще я не думаю, что он играет по эксплуатирующей стратегии.

Если эти соображения справедливы, бот должен блефовать с очень небольшим количеством слабых рук, добирать с натсовыми флешами и некоторым количеством вторых флешей, может быть, даже третьих. Игрок без позиции будет коллировать с частью As x и крупными флешами.

Проблема тут в том, что идея ставить олл-ин 11 банков выглядит хуже ставки меньшего размера, так как у игрока без позиции есть диапазон чек-рэйза, а игрок в позиции не может часто блефовать олл-ином, ибо ключевая блефовая карта (туз пик) является топ-парой, блефовать с которой нехорошо.

Отсюда я пришёл ко второй гипотезе – диапазон бота сконструирован с ошибкой: он либо чересчур расширяет диапазон вэльюпуша (до слабых флешей) и использует много разных пиковых блокеров, либо пушит натсовый флеш и воздух без As , из-за чего в его диапазоне возникает избыток пустых рук. Эта гипотеза наиболее вероятна, поэтому на месте Джейсона я бы, пожалуй, сделал колл, но история раздач против бота могла бы изменить моё решение.

Возможно также, что игрок без позиции должен коллировать олл-ины строго с натсовым флешем, а любой колл с As x будет минусовым, но вероятность этого я оцениваю невысоко.

Бен Сульски
Попробую обощить всё это с точки зрения Hero.

a) Количество комбинаций As x , с которыми Hero оказывается на ривере, заметно выше необходимого для минимальной частоты защиты от овербета в 11 банков.

b) Hero почти наверняка слоуплеит достаточно флешей, чтобы сделать 11-кратный овербет для вэлью неоптимальным для любых флешей, кроме натсового и, возможно, второго и третьего.

c) Следовательно, если бот играет хорошо, колл с As x будет нулевым или минусовым.

d) Следовательно, если бот играет хорошо, мы должны фолдить, а если бот играет плохо, мы должны коллировать.

Ник Ховард
Думаю, мы можем с уверенностью заявить, что колл лучше, основываясь на последнем посте Бена. Если колл с As минусовой, то этот минус невелик, и мы должны оценивать вероятность хорошей игры бота очень высоко, чтобы выбросить карты в пас, поскольку профит от колла в случае слабой игры бота намного выше. Другими словами, даже если он играет хорошо в 80% случаев и плохо в 20%, колл всё равно будет +EV.

Кевин Рабичоу
Кто-нибудь объяснит, зачем все участники матча донкали один блайнд на флопе против бота? Это действие кажется важной частью раздачи, поскольку вялый экшен на флопе увеличивает силу топ-пары для игрока без позиции, и он вряд ли захочет прочекать тёрн, если только у него не натсовый флеш.

JulianR
Насколько я могу судить, идея донкбета – экспоненциально увеличить дерево перебора для Клодико, в идеале сделав полный расчёт невозможным.

GameTheory
Бену Сульски:

Моя первая гипотеза: диапазон бота должен состоять в основном из натсового флеша и воздуха. Проблема с ней в том, что лучшая карта для блефа – это туз пик, но EV олл-ина с Asx не может быть выше чека или небольшого вэлью-бета, если только соперник не фолдит 95% своего диапазона.

Если грубо прикинуть диапазон Леса – 80%!10%:(3,4,Q,A,56,52,9s-As) (80% диапазона минус 10% сильнейших карт, с которыми он ставит 3-бет, среди которых есть 3x , 4x , Qx , Ax , 5x 6x , 5x 2x и пика от девятки до туза – ред.), у туза пик – As:(2,5)!ss – 68% эквити. Допустим, небольшой ставкой можно реализовать 70% банка.

11-кратный овербет бесспорно превращает руку в блеф. Минимальная частота колла – 1/12 = 8.33%. Но если олл-ин ставит As:(2,5)!ss, пытаясь таким образом забрать дополнительные 0.3 банка, минимальная частота колла понижается до 2.65%!

С учётом мёртвых карт, 80%!10%:(3,4,Q,A,56,52,9s-As) даёт 382 комбинации.
С учётом мёртвых карт, 80%!10%:(3,4,Q,A,56,52,9s-As):ss даёт 26 комбинаций.

Но 2.65% от 382 это всего 10 комбинаций, а флешей 26. То есть Джейсон Лес может выбрасывать некоторые флеши. Конечно, в своих расчётах мы не учитывали, что диапазон Леса с высокой вероятностью капнут и флешей в нём меньше. Но пока у него есть хотя бы 30% возможных флешей, некоторые из них по-прежнему можно будет фолдить.

Ещё более важное соображение состоит в том, что олл-ин – очень плохой способ собрать вэлью с натсовыми флешами! Когда тебя коллируют в 2.65% случаев за 11 банков, вы добавляете к ожиданию 0.3 банка. Если сравнить со ставкой в банк, игнорируя card removal-эффект и возможность рэйза, колл в 50% случаев уже даёт вам ожидание в 0.5 банка!

Вывод: невозможно грамотно сбалансировать 11-кратный овербет только натсами и воздухом, используя в качестве блокера только туза пик, поскольку туз пик имеет шоудаун-вэлью. Следовательно, бот должен использовать для блефа руки, не содержащие туза пик.

Бот блефует без туза пик (с другим пиковым блокером или даже без него)...

Конструирование такого диапазона – просто катастрофа! Например, вот что может получиться, если использовать 9 комбинаций As*s и 6 блефовых, чтобы сделать флеши безразличными к выбору между коллом и фолдом:

Однако теперь любой блефкетчер Леса, содержащий As , будет иметь 100% эквити против диапазона ставки!

As составляет примерно 8% диапазона 80%!10%:(3,4,Q,A,56,52,9s-As). Теперь понятно, почему я назвал эту стратегию катастрофой. Мы не только дадим 8% диапазона соперника плюсовой колл ценой 191 бб, но и никогда не получим колл, когда у нас натс!

Конечно, колл олл-ина исключительно с As x позволяет боту делать более тонкие вэльюбеты с руками типа двух пар, поэтому оптимальная стратегия должна включать замещение некоторых комбинаций As флешами, чтобы парировать эту атаку. Но в любом случае видно, что 11-кратный овербет в данной ситуации является грубой ошибкой.

Samu Patronen
А существуют ситуации, когда 11-кратный овербет будет хорошей игрой?

GameTheory
Да, конечно. Например, доска As Ks 9s 8d 4d . Соперник сделал 3-бет префлоп, поставил флоп, тёрн и ривер, и тут мы поставили олл-ин 11 банков. Наш диапазон здесь будет поляризован между натсовыми флешами и голыми Qs .

GameTheory
Результат:

Джейсон Лес сделал колл. Бот показал Tx 5x без пик.

Мой вывод – колл был корректным, особенно с учётом того, что бот даже не использовал пиковые блокеры, что должно заметно повысить EV колла: старшие пиковые карты блокируют все старшие флеши, колл с которыми обязателен, следовательно, их наличие у бота повышает фолдэквити.

Выше мы показали, что пуш с голым тузом пик – плохая игра. А если эффективно использовать блокеры невозможно, следует уменьшать сайзинг.