Солверные войны: Доминик Ницше раскритиковал приложение Федора Хольца

В 2021 году на рынке приложений по подписке, предлагающих GTO-решения для безлимитного холдема, появился Odin Poker. В рекламной кампании приняли участие Федор Хольц и Эллиот Роу, выпустившие подкасты с создателем «Одина» Рори Янгом. Рори Янг был довольно известным регуляром онлайн-МТТ середины десятых (ник на PokerStars – DeosOner, общая сумма призовых в онлайне – около 2.4 млн, побеждал на WCOOP, выиграл один браслет WSOP на австралийской серии), после закрытия онлайна в Австралии переехал в США и играл средние и высокие лимиты кэша. Увлечение работой с софтом привело его к идее создания собственного приложения.

Такие приложения – не солверы, работающие в реальном времени, а разновидности интерфейсов, дающих доступ к заранее посчитанным симуляциям. Так как посчитать всё за несколько лет невозможно, между собой они всегда будут отличаться по текстурам и выбору сайзингов. «Один» пришёл позже остальных, но предоставляет своим подписчикам более полную базу решений.

Цена вопроса:

Федор Хольц в одном из недавних видео заявил, что помог создать компанию и бренд, а также активно участвовал в создании софта.

Чтобы посчитать такое количество симуляций, настолько опередив конкурентов, необходимы огромные вычислительные ресурсы. Наверное, это возможно. Но есть и другие пути.

На один из них указал Доминик Ницше (владелец конкурирующего приложения DTO Poker): можно считать намного больше, если вас не интересует качественный результат...

Доминик Ницше

Собираюсь высказать претензии «Одину» за худшую симуляцию, которую я когда-либо видел. Всё началось с решения, присланного приятелем, которое меня крайне заинтересовало. Согласитесь, оно ведь совершенно не может быть правильным? Откуда тогда взялись эти результаты? И можем ли мы доверять другим аналогичным солверам?

(Ситуация – МТТ, баттон против большого блайнда в стеках 30 бб. Доминика, похоже, насторожило предложение «Одина» чекать 32% рук – ред.)

Я открыл PIO. Ниже – результат расчёта с сайзингами «Одина». Точность – 8%. Для непосвящённых: это значит, точности практически никакой.

(Для солверов под точностью поднимается эксплуатируемость по сравнению с равновесием Нэша; недостижимый идеал – 0%, то есть точное совпадение с равновесной стратегией – ред.)

Такой расчёт для профессионала бесполезен, но не кажется ли он вам смутно знакомым?

Может быть, стратегия уже устаканилась и не изменится с увеличением точности? НЕТ. Обычно мы стремимся считать с точностью 0.5%. Основная проблема – это требует слишком много времени. Но вот результат, посчитанный с точностью 1.1%, и он выглядит намного более разумным.

Я мог бы продолжить расчёты, но не думаю, что это необходимо.

Моя мысль, думаю, понятна: большинство приложений, выдающих готовые результаты, стараются срезать углы. Это всего лишь один вопиющий пример. В отношении этих приложений отсутствует какой-либо контроль качества. По сути, под маркой «GTO» они могут выкладывать что угодно. Результаты никто не проверяет. Это омерзительно. Настоящий грабёж.

Рассмотрим ещё одну симуляцию. 100 бб, малый блайнд против баттона, 3-бет-банк.

Сначала смотрим на выдачу «Одина», потом – на PIO с точностью 1.3%.

Разницы между ними нет. «Один» даёт доступ к очень грубо посчитанным симуляциям PIO. Честно говоря, не думаю, что у них вообще есть расчёты с точностью 0.5%, но кто знает...

pablo mariz

Очевидно, что их нет. Чтобы предложить свой товар, им пришлось срезать немало углов и пожертвовать качеством и точностью.

Dr. K

Я не пользуюсь PIO. Объясните, насколько велика разница между 1.3% и 0.5%?

Ницще

Это всегда субъективно, но общий консенсус состоит в том, что на результаты грубее 0.5% лучше вообще не смотреть.

@GTOCheck

В свете проблем, возникших с качеством симуляций от OdinPoker, я решил приступить к проверке выдачи всех тренировочных программ. Начну с ещё одного примера от «Одина».

Для решения я использовал префлоп-диапазоны от DTO. Они немного отличаются, но эта разница не должна приводить к большим расхождениям в стратегии.

Решение с точностью 1.8%:

Решение с точностью 0.5%:

Я считаю, что для 3-бет-банков точности 0.5% и близко недостаточно, однако уже здесь мы видим значительные отличия от выдачи «Одина», а ведь в рекламе они утверждают, что все их симуляции посчитаны с точностью 0.5%.

Решение с точностью 0.1%. Разница заметна – смешанных решений намного меньше. Такую стратегию можно даже попытаться применять на практике! Лично я бы вообще оставил только один сайзинг.

Учитывая, что в ситуации, найденной Домиником Ницше, решение «Одина» тоже далеко от заявленной точности, я начинаю сомневаться во всех ответах «Одина».

@LeoPettalcharms

В одном приложении, подписка на которое стоит $30 в месяц, я обнаружил, что на 8-макс столе без анте в стеках 100 бб рекомендуется фолдить QQ на 3-бет в позициях UTG и UTG+1! Наверное, это ещё один пример разработчиков, которые не проверяют результаты? Не может же здесь быть стопроцентного фолда с дамами?!

@Rory_Powell

Вот ещё один ответ из того же приложения. Глаза лезут на лоб!

Ницше

Зачем вы им платите?))))

@Simplepostflop

Что скажешь о такой точности? Мы тратим тысячи долларов на расчёты с высокой точностью. Весь МТТ-контент сейчас бесплатно можно найти в нашем приложении GTOBase.

Ницше

На мой вкус, многовато сайзингов, и я в целом не фанат приложений для автоматического анализа раздач, но если меня попросили рекомендовать одно из них, рекомендовал бы ваше.

@Simplepostflop

Мы собираемся публиковать упрощённые деревья расчётов с меньшим числом сайзингов для самостоятельного изучения, решать их будет проще. Однако для анализа историй раздач мы предпочли брать более сложные решения, чтобы среди линий солвера всегда были близкие к использованным при розыгрыше.

@SMitchellPoker

К сожалению, причина твоих постов – банальная ревность. Лучше бы показал сильные стороны твоего продукта, а не топил конкурентов.

Ницше

Не согласен. Мои аргументы кажутся менее убедительными из-за того, что я продаю конкурирующий продукт? По-моему, это не очень честный подход. Свою позицию я аргументировал максимально объективно.

Чарли Каррел

Как определить, чей солвер точнее? Что ты ответишь, если они скажут, что PIO и твой солвер ошибаются?

Ницше

Не думаю, что они начнут оспаривать результаты PIO. Также сошлюсь на @Simplepostflop – их результат соответствует моему.

Сам факт того, что выдача PIO при точности 8% совпадает с их выводами, говорит о том, что их симуляция не была решена правильно.

@adrianovalves

Сложно всё это для нас, любителей. Мы ориентируемся на тебя, Бена, Федора и остальных, но все вы оцениваете разный софт немного по-разному. Может быть, я лучше пойду на Чарли Каррелом и пошлю GTO к чёрту.

Ницше

Да уж. Ничем не могу помочь, разве что могу сказать, что в DTO таких плохих симуляций не найти. И добавлю очевидное: если некое предложение кажется вам слишком хорошим, чтобы быть правдой, скорее всего, так оно и есть.

@notszander

Можете посмотреть на выдачу GTOWizard? Сайзинги немного другие, но всё же. Также добавил диапазоны, которые они используют для префлопа.

@ParsonsPoker

Проверил с помощью PIO, результаты довольно близкие. Мне ужасно не нравится изобилие сайзингов, но по крайней мере с точностью здесь всё в порядке.

@Oliver10375550

Всё-таки это один случайный пример. Может быть, одна ошибка на 20 тысяч.

Ницше

Конечно, продолжай верить. Я не планирую разбирать всю их базу.

@Oliver10375550

Но тебе попадались другие некачественные примеры от «Одина»?

Ницше

Честно говоря, нет. Но я никогда не заморачивался с проверкой чужих результатов. Просто конкретно этот выглядел явно неправильным, и я точно знал, что DTO в этом споте ставит с частотой выше 75%. Мне иногда попадались подозрительные результаты и от GTO Wizard, но их я тоже не разбирал.

Создатель «Одина» Рори Янг в тот же день написал в дискорде:

В ближайшее время Федор ответит Доминику в твиттере, но вот расширенная версия:

– Доминик всегда поливает грязью конкурентов. Ему стоит найти хобби.
– Приближение к равновесию Нэша, которое оценивает Piosolver, также является весьма приблизительным и поэтому постоянно скачет при расчётах.
– Разница в стратегии между решением с точностью 1.1% и решением «Одина» совершенно незначительная. «Один» чекает 32.3%, солвер Доминика – 19.28%. Однако Доминик утверждает, что наш результат ближе к восьмипроцентному солверу, который чекает 42%! Также было бы интересно взглянуть на разницу в EV.
– Он даже не удосужился показать, насколько велика разница в префлоп-диапазонах. Мы не видим диапазон игрока без позиции, не знаем, какие сайзинги используются для расчёта на следующих улицах, не знаем даже стратегии с рэйзом флопа!
– Наконец, пиу-пиу, Piosolver использует антикварную технологию и требует бесконечного времени для расчёта сколько-нибудь разумно разветвлённого дерева. Люди, находящиеся на переднем крае исследования покерного ИИ, не считают Piosolver золотым стандартом.
– Если кто-нибудь пришлёт мне полный список симуляций DTO, я смогу точно сказать, во сколько им обошёлся расчёт их крошечной базки. Там же всего 25 тысяч решений))))

Ответ Федора был более лаконичным, но мало кого устроил:

@CrownUpGuy

Единственная разница в результатах «Одина» и PIO в том, что PIO намного чаще ставит минбет, что означает минимальную разницу в EV. Конец истории.

Ницше

Чек 16% и чек 32% – это одно и то же? Сколько же они тебе платят за рекламу своего мусора?

Кто-нибудь, объясните, как «Один» мог прийти к решению чекать 32% рук? Ни одна завершённая симуляция, которую я провожу, не показывает ничего похожего.

@Simplepostflop

Вероятно, причина в низкой точности решения. Дополнительный аргумент в пользу такого объяснение – слишком частое использование смешанной стратегии; при достаточно долгих расчётах картина должна измениться.

@StefanBr93

Разве «Один» считает раздачи на лету? Мне казалось, он просто даёт доступ к огромной базе заранее просчитанных ответов.

@JCSeerup

Так и есть. В теме утверждается, что они принесли в жертву точность, и это большая проблема.

@Charmonium2

Федор, я плачу за твой продукт кучу денег. Не мог бы ты пролить свет на точность расчёта твоих симуляций? Какой порог использует «Один»? Всё ведь построено на доверии к базе симуляций. Ты говоришь только про незначительную разницу в EV, а твои конкуренты показывают конкретные цифры. Меня это тревожит.

@imnatelee

Я взял диапазоны из кэша, так что стратегия будет отличаться, но вот вам симуляция, посчитанная до точности 0.05% с помощью алгоритма pio 2.0. Как видите, частота ставок с большинством сайзингов упала до нуля. Расчёт занял около 10 минут на процессоре Ryzen 3950x.