NLHU – человек против машины

Первым о запланированном матче между ботом Клодико и четырьмя представителями человеческой расы сообщил в своём блоге 20 апреля Нолан Далла. Позднее запись была удалена. В тот же день была создана тема на 2+2 (http://forumserver.twoplustwo.com/29/news-views-gossip/wcgrider-dong-kim-jason-les-bjorn-li-play-against-new-hu-bot-1526750/).

Подробная информация появилась спустя пару дней на сайте университета Карнеги – Меллон. Проект Brains Vs. AI стал продолжением долгосрочной программы университета по исследованию искусственного интеллекта, начатой в 1956 году. Именно в этом университете работал Ганс Берлинер, чемпион мира по шахматам в игре по переписке 1965-1968, ставший известным в 70-80-е годы как один из пионеров шахматного программирования. Созданная Берлинером в качестве побочного продукта программа по игре в нарды в 1979 году впервые в истории обыграла в матче действующего чемпиона мира. Три ученика Берлинера, окончившие университет Карнеги – Меллон, создали компьютер Deep Blue, нанесший поражение Гарри Каспарову в 1997 году. Работа над покерным ботом по безлимитному холдему для игры один на один началась около 11 лет назад.

Условия матча

– Игра проходит в казино Rivers в Питтсбурге.

– За две недели с 24 апреля по 7 мая 2015 года будет сыграно 80,000 раздач, по 20,000 против каждого из четырёх приглашённых профессионалов.

– Соперники: бот Клодико (Claudico – от латинского «хромой», англ. limp) сыграет с Дугласом «WCGRider» Полком, Донгом «Donger Kim» Кимом, Бьорном «asianflushie» Ли и Джейсоном «cheet» Лесом. Ник последнего на PokerStars неясен, среди версий – megabanny, ForTheSwaRMm и JLlama.

– При любом исходе игроки получат $100,000, выделенных спонсорами – Microsoft Research и Rivers Casino.

– Время игры – с 11 утра до 8 вечера с перерывами по просьбам игроков.

– Расклады карманных и общих карт в каждых двух матчах между людьми и компьютером являются «зеркальными», чтобы минимизировать влияние случая. Игроки, чьи матчи с машиной являются зеркальным отражением друг друга, будут находиться на разных этажах казино.

– Все раздачи играются с глубиной стеков в 200 больших блайндов.

– Матч в полном объеме и с открытыми картами будет показан на соответствующих каналах Twitch.TV:

Клодико – Дуглас Полк http://www.twitch.tv/claudico_vs_dougpolk
Клодико – Донг Ким http://www.twitch.tv/claudico_vs_dongkim
Клодико – Бьорн Ли http://www.twitch.tv/claudico_vs_bjornli
Клодико – Джейсон Лес http://www.twitch.tv/claudico_vs_jasonles

По словам создателя Клодико профессора Туомаса Сандхольма, покер сейчас находится в центре внимания учёных, занимающихся проблемой искусственного интеллекта, как ранее шахматы. Это исключительно сложная игра для машины, вынужденной принимать решения в условиях неполной и противоречивой (блеф, слоуплей...) информации.

Стратегия Клодико была алгоритмизирована профессором и его аспирантами Ноамом Брауном и Сэмом Ганцфридом. Расчёты проводились на суперкомьютере Blacklight в суперкопьютерном центре в Питтсбурге.

«Мы отрабатываем алгоритм на покере, но возможности их применения гораздо шире, – говорит Сандхольм. – Борьба с киберпреступностью, торговля, медицина...»

Шансы своего бота на успех профессор оценил как 50 на 50.

Дуглас Полк был более оптимистичен относительно возможностей человеческого разума: «Надеюсь, мы сможем выступить от имени человечества и разбить компьютер! Понимаю, что со временем компьютеры обыграют людей, но мы постараемся затянуть это противостояние, как Каспаров в шахматах».

Обсуждение на 2+2

timfbmx (veteran)
Итак, кого считаем фаворитом?

WowLucky (veteran)
Бот должен быть аутсайдером.

Loctus (Carpal/Tunnel)
WCG и Донг разнесут бота вхлам.

Akimka (adept) (Zedmor)
Кто мог согласиться на это? У WCG, очевидно, нет шансов, потому что его перевес базируется на использовании ошибок в стратегии людей, а в этом матче его приближение к равновесию Нэша столкнётся с более совершенным. Победитель очевиден.

what is check (centurion)
Очевидно, ты понятия не имеешь, о чем говоришь.

Akimka (adept)
Очевидно, ты не понимаешь теорию игр.

good2cu (Pooh-Bah) (Эндрю Робл)
Боты для HU NL сегодня подошли вплотную к тому, чтобы обыгрывать регуляров NL100, но никак не лучших в мире игроков один на один.

Посмотрим, что изменится через пять лет :)

punter11235 (Pooh-Bah)
В холдеме всего 1,755 стратегических различных видов флопов. Думаю, через 2-3 года максимум на ноутбуках появятся программы, непобедимые для обычного человека. К счастью, за пределами хэдз-апа ситуация совсем другая, и покер для нескольких человек не решат ещё долго (если решат вообще), потому что к нему неприменимо равновесие Нэша – достаточно одного игрока, который творит ерунду, чтобы игра по равновесию Нэша стала для некоторых других игроков сильноминусовой.

Думаю, для WCG неплохо остаться в памяти человеком, обыгравшим в покер суперкомьютер. Через пару лет, когда его укатает ноутбук среднего класса, в таком матче не будет никакого смысла.

День 1

Первая сессия:

Вторая сессия:

Итоги дня по мнению Клейтона Ньюмана:

Аспирант Ноам Браун ответил в чате Twitch.TV на вопросы зрителей (http://forumserver.twoplustwo.com/showpost.php?p=46762999&postcount=229):

– Учитывает ли Клодико тайминги соперников?
– Нет, мы не стали вводить этот параметр, чтобы профессионалы не тратили на каждую раздачу по три минуты... как это делаем мы.

– Можно ли ускорить принятие решений на ривере?
– Для полного расчёта стратегии на ривере требуется время – порядка трёх минут...

– Будет ли Клодико менять игру на следующий день?
– Этого стоит ожидать...

– Довольны ли вы промежуточными результатами?
– Я очень доволен тем, как идёт матч. У Клодико есть очевидные слабости, но он усилится.

Дуглас Полк:
– Этот бот – настоящий Кану среди ботов: играет не очень хорошо, но обожает странные рэйзы.

День 2

Первая сессия:

После 10,000 раздач выигрыш команды Полка упал до 85,700 (+8.75 бб/100), результат после 12,000 раздач обнаружить не удалось.

Фрагменты матчей, отмеченные на 2+2

Бот поставил два банка на ривере с Ks 6x , доска Ts 7s 5s 8x 8x , молодец! Но у Дага были Qc 8c .

Компьютер сделал 3-бет в семь раз больше рэйза (21 бб на рэйз 3 бб)!

Стандартная ставка в 19 с половиной банков:

Бьорн Ли только что заколлировал овербет в 19 банков на ривере с двумя парами и ему показали стрит: Ax 6x на доске Ax 6x 7x 4x 9x против 8x 5x . В такой же ситуации Донг тоже поставил большой овербет-пуш, и компьютер сделал колл, но банк получился немного больше.

У WCG Kx Kx , бот сделал лимп, WCG переставил, бот сделал 4-бет, WCG предпочёл колл. Флоп Qx 9x x , WCG сыграл чек-рэйз, бот заколлировал. Тёрн 9x , выставились в олл-ин, бот показал Ax 9x .

На другом столе cheet сделал рэйз с Ax 9x и заколлировал рерэйз. На флопе Qx 9x x бот поставил два банка (4,400 в банк 2,200), cheet сделал хороший пас.

Неплохой пример дисперсии в дубликатном покере!

У flushie на большом блайнде Ax Qx , он сделал 3-бет и поставил на флопе Ax Qx x с двумя трефами, сыграл чек-колл на терне Tx , прочекал на ривере Kx и после долгих раздумий заколлировал ставку в полбанка. Бот показал Kx x треф.

Donger на другом столе заколлировал 3-бет, заколлировал ставки в банк на флопе и терне, а на ривере сыграл пуш после того, как компьютер поставил 10% банка (1,350 в банк 13,500; доставить на пуш оставалось около 11,000). Бот сфолдил.

Ещё одна интересная дубликатная раздача.

WCG рэйз 300 ( Kd Ts ), бот 2,100, WCG колл.

Флоп Kx 4d 2d , чек – чек. Терн 7h . Бот 4,200, WCG колл. Ривер Ac . Бот 13,200, WCG танк-колл и проиграл Ax Kx .

На другом столе: бот – рэйз 250, Джейсон Лес с Ax Kx – рерэйз 800, колл.

Флоп Kx 4d 2d , Джейсон – 1,200, колл. Терн 7h . Джейсон – 3,000, бот – колл. Ривер Ac – чек – чек, у бота Kd Ts .

Бот сошёл с ума? Сделал рэйз 250 с Ax 3x , Полк заколлировал с Qx Jx . На флопе Kx Tx x (банк 500) Полк донкнул 100 и получил колл. Тёрн – Ax (банк 700), чек – чек. Ривер x (банк 700). Полк – чек, бот – 2/3 банка (469), Полк, посмеявшись, овербет олл-ин 19,181. Бот моментально нажал на колл.

Что это такое вообще? По крайней мере второй раз бот коллирует огромный овербет чек-пуш на ривере со слабым тузом!

(Моментальная реакция одного из разработчиков, Сэма Ганцфрида: «Должен коллировать только в 7.8% случаев! Просто не повезло...»)

Судя по первым дням, подстройка со стороны людей состоит в следующем: фолдить на огромные овербеты; дёшево блефовать без позиции; слишком часто контбетить флоп, не переживая из-за несбалансированного диапазона ответного чека на тёрне.