– Сегодняшний гость моего подкаста – Владимир Крамник, 14-й чемпион мира по шахматам и один из самых уважаемых шахматистов нашего времени. Мы обсудим множество разных тем, среди которых появление и развитие компьютерных шахмат, проект Google AlphaZero, построенный по принципу нейронной сети, влияние компьютера на подготовку спортсменов высокого уровня и, конечно, советы Владимира по психологии и работе над игрой. Думаю, многие из его рекомендаций пригодятся не только шахматистам, но и игрокам в покер.
Владимир, спасибо за то, что приняли приглашение! Это большая честь для меня.
– Спасибо за то, что пригласили.
– Начнём с истории ИИ в шахматах. Современные шахматисты активно пользуются помощью компьютера при подготовке. Покер идёт тем же путём, что и шахматы, с отставанием в несколько лет. Мне бы хотелось, чтобы вы поделились своим опытом в этом вопросе.
– Да, конечно. Правда, я научился играть ещё в докомпьютерную эпоху, но на протяжении своей карьеры видел, как компьютеры постепенно занимали всё более важное место в жизни шахматистов. Сначала программы были совсем слабыми, над ними просто потешались. Потом они достигли гроссмейстерского уровня, и я сыграл два серьёзных матча с сильнейшими программами тех лет, в 2002-м и 2006-м. Вскоре после этого бороться на равных с ними стало уже невозможно. И, наконец, недавно появилась «Альфа-Зеро» – концептуально новая программа на основе нейронной сети.
Когда в 1993-м я играл свой первый турнир в ранге игрока мировой десятки, у меня даже не было компьютера. Но вскоре мне, как и всем остальным, пришлось адаптироваться к новой реальности. Так что мне есть что сказать на эту тему.
– Люди не любят меняться. Уверен, многие не обрадовались, когда поняли, насколько сильно компьютеры влияют на подготовку к соревнованиям.
– Да, конечно, многие были недовольны, особенно игроки старшего поколения. Однако у игроков высокого уровня просто не было выбора. Если хочешь оставаться конкурентоспособным, ты просто не имеешь права отказываться от работы с компьютером – это слишком большая фора. Компьютер стал неизбежной частью подготовки.
В начале моей карьеры я, как я уже сказал, компьютером не пользовался. Потом был период, когда мы использовали его как базу данных, склад сыгранных партий. И только потом стали появляться шахматные движки.
Конечно, первые попытки написать компьютерную программу для игры в шахматы делались уже в 80-е, но те программы были очень слабыми – играли на уровне любителей. Постепенно они усилились до уровня мастера, но этого было недостаточно, чтобы приносить пользу игрокам топ-уровня. Так продолжалось примерно до середины 90-х, и только тогда появился смысл пользоваться движками. Они всё ещё не годились для серьёзных тренировочных партий, но кое-какую пользу приносили. В 1995 году я был секундантом Гарри Каспарова на матче за звание чемпиона мира против Виши Ананда. Гарри уже тогда начал использовать компьютер в работе над дебютом. Машина довольно часто показывала полную ерунду, и тем не менее какая-то польза от неё была. Думаю, это первый случай применения компьютера при подготовке на высшем уровне.
Во второй половине 90-х развитие шахматных компьютеров резко ускорилось. В начале нашего века их уже использовали повсеместно. А в наши дни мы уже больше похожи на операторов. 95% подготовки – это чисто компьютерный анализ, и только время от времени мы пытаемся задавать им направление сами: о, у меня появилась идея, ход не входит в число сильнейших, но выглядит интересно – введём его в компьютер, и пусть он скажет, почему я неправ. Обычно – почти всегда – компьютер опровергает эти идеи, но очень-очень редко таким образом удаётся найти что-то действительно стоящее.
Тем не менее при подготовке мы по-прежнему должны опираться на собственное видение игры. Ведь за доской придётся играть самостоятельно. Если компьютеру позиция нравится, но ты её не чувствуешь, не понимаешь, как её трактовать – играть её не стоит. Нужно обязательно понять причину этой высокой оценки.
Все сильнейшие шахматисты нашего времени стараются обзавестись как можно более мощными компьютерами. Они работают с инженерами, которые собирают компьютеры специально под стоящие перед шахматистами задачи и даже переделывают существующие движки, чтобы те эффективнее работали на собранных машинах. Это настоящая гонка вооружений. На самом высоком уровне преимущество одной из сторон в компьютерной оснащённости может стать решающим. Особенно в матче на первенство мира.
Вычислительная мощность компьютеров – это ещё не всё. Конкуренция идёт и между движками. Создатели новых интересных движков обычно сами выходят на связь с топ-игроками. Не занимаются этим только создатели «Альфа-Зеро» – очевидно сильнейшей на данный момент программы. Она создавалась в рамках научного проекта и не предназначена для использования игроками. Насколько я знаю, доступа к «Альфа-Зеро» нет ни у кого. Думаю, это правильно, иначе у кого-то появилось бы слишком серьёзное преимущество. Я сотрудничаю с создателями «Альфа-Зеро», помогаю им в работе, поэтому у меня такой доступ время от времени появляется, но не для работы над дебютом, которую я, к тому же, уже не веду, так как завершил профессиональную карьеру.
– Вижу очевидные параллели с покером. Похоже, мы на несколько шагов отстаём от шахмат в использовании ИИ, но разрыв стремительно сокращается. Меня заинтересовал рассказ о применении компьютера при подготовке. Шахматисту недостаточно запомнить ход, предложенный компьютером – нужно также понять его смысл, чтобы правильно применять его во время партии. В покере от нас требуется ровно то же самое. Запомнить все решения солвера невозможно – слишком велик объём информации. Чтобы извлекать пользу из солверов, в их решениях нужно находить в них логику. Либо – ещё один неплохой способ – предлагать свои решения и спрашивать, что я делаю не так.
Очень похоже и то, что сначала использование компьютера ограничивалось базой данных, потом он стал применяться в достаточно узких и специализированных условиях, и только потом его стали использовать повсеместно. Хотелось бы больше узнать о том, как проходила эта эволюция, в ходе которой компьютер постепенно интегрировался в повседневную работу.
– Известно, что первую в истории шахматную программу написал один из британских криптографов, взломавших во время Второй мировой войны «Энигму». В эту команду, кстати, входил гроссмейстер Александер, очень сильный шахматист, чемпион Великобритании. Программа, конечно, была совсем простая...
Математики и кибернетики довольно часто любят шахматы и, естественно, многие из них пытались писать шахматные программы. Примерно по тем же причинам появилась и «Альфа-Зеро» – босс Deep Mind Демис Хассабис в юности был хорошим шахматистом, чемпионом страны до 15 лет, участником юношеского чемпионата мира. В 1992 году мы даже сыграли с ним в одном турнире, правда, не встретились за доской. Потом ему, в отличие от меня, хватило ума сменить специализацию и заняться математикой. В своей сфере он сейчас один из лучших в мире. В общем, любовь математиков к шахматам – это одна из главных причин, по которым шахматы рано оказались в центре внимания программистов. Другая причина – то, что шахматы, вероятно, удобны для компьютерного моделирования: у них простые правила, но сама игра очень сложна.
В 80-е появились шахматные компьютеры в виде доски с электронной начинкой. Помню, как давал им сеансы одновременной игры. Это были совсем слабые программы, сопротивления они не оказывали, но с любителями бороться могли.
Потом появилась ChessBase – вероятно, первая крупная компания, которая занималась исключительно шахматными технологиями. Они собрали все известные партии, сыгранные за всю историю шахмат, начиная с XV века, и включили их в базу данных, которую продавали игрокам. Это был настоящий прорыв. До ChessBase шахматистам на турниры приходилось возить дебютные энциклопедии и тетради с анализами – тяжёлый груз. С появлением компьютерной базы данных достаточно было взять с собой ноутбук. Базы регулярно обновлялись, всё было очень удобно.
Потом пришли аналитические движки. До «Альфа-Зеро» в программу вводили всё, что программист знает о шахматах – правила игры, известные партии и оценочные параметры, учитывавшие стоимость фигур и позиционные идеи. Развитие таких программ шло очень медленно, потому что в шахматах таких элементов очень много и правильный баланс между ними найти крайне тяжело, если вообще возможно. И всё-таки программы постепенно усиливались, а учитывая, что вычислительная мощность компьютеров увеличилась многократно, они вскоре стали представлять серьёзную силу. Однако их слабым местом по-прежнему оставалась неточная оценка позиции. Одно дело, когда можно рассчитать вариант, в конце которого вы выигрываете фигуру, но как выбрать направление, когда форсированного выигрыша нет?
Программы считали очень хорошо и глубоко, но плохо оценивали позицию. Люди считали хуже, но их интуитивная оценка была точнее. Даже сейчас сильнейшие шахматисты мира в позиционном понимании, на мой взгляд, всё ещё сильнее компьютеров. Однако глубокий расчёт вариантов помогает компьютерам в правильной оценке позиции. Человек откажется от хода, ослабляющего важное поле, из общих соображений, просто потому что это обязательно скажется в будущем. Компьютеру же обязательно нужно уйти на глубину и обнаружить конкретный вариант, в котором слабость этого поля сыграет роль. Однако современные программы на мощных компьютерах заглядывают очень далеко. «Стокфиш» на хорошем компьютере может посчитать на 50 ходов вперёд – рассмотреть все возможные варианты. Это очень много – целая партия! Поэтому бороться с ними так тяжело. Но я бы всё равно не назвал это пониманием шахмат – это просто очень глубокий расчёт.
Был очень известный матч между Каспаровым и Deep Blue, по-моему, в 1997-м. Каспаров, конечно, был намного сильнее Deep Blue, в этом нет абсолютно никаких сомнений, спросите любого профессионального игрока. Да, он проиграл, но поражение получилось довольно случайным. Матч был короткий, всего шесть партий. Компьютер прилично усилился по сравнению с предыдущей версией, уверенно разбитой Каспаровым в 96-м. Думаю, Каспаров не ожидал этого и не стал серьёзно готовиться к новому матчу, а когда столкнулся с сильным сопротивлением, пусть оно и не было непреодолимым, занервничал. Гарри – эмоциональный человек, утратил душевное равновесие, допустил довольно глупую ошибку в последней партии и проиграл.
Думаю, Deep Blue играл на уровне топ-30, может быть, топ-20. Серьёзный соперник, не лёгкая прогулка. Но пиарщики представили это так, будто компьютер уже играет сильнее чемпиона мира.
В 2002 году я играл матч с гораздо более сильным компьютером, сыграл 4-4 и остался недоволен ничьей, потому что чувствовал, что играю немного сильнее, примерно 55 на 45. Повёл 3-1, но потом, к сожалению, две партии проиграл.
Следующий матч я сыграл ещё через четыре года, в 2006-м, и вот там разница уже была заметной. Машина, с которой я играл в 2002-м, считала все варианты на 20 ходов вперёд. В 2006-м расчёт углубился уже до 25-26 ходов. Скорость расчёта выросла с 3 млн ходов в секунду до 10 млн. Современный «Стокфиш» считает 88 млн ходов в секунду или около того.
Мой матч 2006 года стал последним большим официальным матчем человека с машиной. Играли шесть партий, и мне почти удалось свести матч к ничьей, но по ходу игры я чувствовал, что эта задача практически невыполнима. Одну ничейную позицию я проиграл грубейшим зевком, но в остальном играл очень хорошо, в свои лучшие шахматы, и всё равно проиграл 2-4. Потом появились ещё более сильные программы, и к 2010 году эта глава шахматной истории была окончательно закрыта.
В 2017 году компания Deep Mind предложила совершенно новую концепцию шахматной программы, основанной на машинном обучении. В каком-то смысле их работа стала первым доказательством концепции искусственного интеллекта. Сама идея была сформулирована ещё 50 лет назад, но возможность проверить её появилась относительно недавно. Первые интересные результаты машинного обучения стали появляться после 2010 года, но шахматная программа Deep Mind стала, пожалуй, самым очевидным доказательством. В каких-то других сферах результаты можно обсуждать – компьютер может быть неправ, нет ясных критериев... В шахматах всё просто: программа сразу стала сильнейшей, убедительно бьёт всех – значит, концепция работает.
Ноль в названии «Альфа-Зеро» означает отсутствие каких-либо знаний, кроме формальных правил игры. Мат – победа, пат – ничья, пешки идут вперёд и так далее – но только правила. Программа даже не знает, что ферзь сильнее пешки. Конечно, потребовалась большая работа очень талантливых программистов, чтобы построить архитектуру нейронной сети, но суть простая – программа играет сама с собой и самообучается.
Когда я был в офисе компании в Лондоне, мне показали, как развивается «Альфа-Зеро». Они убрали всё, чему научилась «Альфа-Зеро», и запустили процесс с нуля. На большом мониторе быстро-быстро мелькали партии. Поначалу они выглядели так, будто играет ребёнок, которому только показали правила. Никакого понимания, он зевает мат в один ход, отдаёт ферзя и все фигуры и так далее. Смешно смотреть.
Мы ушли попить кофе и вернулись через час. «Альфа-Зеро» уже играла на уровне крепкого любителя. Не зевала мат, не подставляла фигуры. Она делала много позиционных ошибок, временами просчитывалась в тактике, но в целом уровень явно подрос.
К вечеру она играла на уровне сильного гроссмейстера, а когда я пришёл на следующее утро – это уже был космос. Бороться с ней было невозможно. Рейтинг 3400 или около того – невообразимо. И сами партии, стиль игры – это был уровень бога. Намного сильнее любой другой программы. На всё ушло 12, может быть, 20 часов – от нуля до космического уровня, которого не было ещё ни у кого, и исключительно через самообучение.
Deep Mind – одна из ведущих компаний, работающих с искусственным интеллектом, она принадлежит Google. Концепцию, отработанную на го и шахматах, будут использовать в других сферах – например, медицине. Однако они ещё не полностью остановили шахматный проект. Сейчас их интересует, могут ли они продолжать усиливаться. Задача – найти потолок, уровень, выше которого подняться уже нельзя. Он очень близок, «Альфа-Зеро» практически не проигрывает.
В 2017-м она сыграла матч из ста партий против «Стокфиша» и выиграла, не помню точно, что-то вроде 65-35.
– По-моему, 72-28.
– Да, верно. В любом случае это была игра в одни ворота, разгром. А нынешняя версия «Альфа-Зеро» стала, конечно, намного сильнее. Сейчас это венец эволюции шахматных программ – но широкой публике она недоступна.
– Когда я смотрю партии «Альфа-Зеро», они кажутся вполне понятными, потому что в них есть логика и эстетика. Её действия легче объяснить по-человечески. Когда смотришь партии «Стокфиша», таких ощущений не возникает. Вы согласны?
– Да, это действительно так. У меня всегда было странное чувство, когда я смотрел за игрой «Рыбки», «Стокфиша» и других программ, игравших сильнее человека. Все они очень любили забирать материал и великолепно защищались. В анализе я порой находил интересные идеи, связанные с жертвами и получением долгосрочной компенсации, но доказать их эффективность движкам не удавалось – они всегда оценивали позицию в свою пользу. В какой-то момент всем стало казаться, что, может быть, наше понимание шахмат ущербно, мы фундаментально неверно понимаем динамику. Однако партии «Альфа-Зеро» стали очень приятным сюрпризом. Она играет очень по-человечески, легко идёт на жертвы за инициативу, рискует, атакует. Именно этим она отличается от сильнейших движков предыдущего поколения. Оценка позиции от «Альфа-Зеро» намного ближе к человеческой. Для меня это стало подтверждением того, что путь, по которому несколько веков развивались шахматы, оказался правильным. Конечно, это ощущение может рассеяться, если появится ещё более мощная программа, играющая в другом стиле. Хотя представить такое тяжело.
Можно даже сказать, что у «Альфа-Зеро» есть интуиция. Один раз мы устроили эксперимент – отключили способность программы к расчёту вариантов. Уверяю вас, что большинство программ без счёта играли бы чудовищно плохо. «Альфа-Зеро» тоже порой зевала примитивные двухходовые удары, но ходы, которые она предлагала, выглядели совершенно разумными – я бы тоже их рассматривал. Даже с отключённым счётом она играла логично, грамотно, ставила фигуры на нужные клетки, проводила правильный план. Очевидно, что «Альфа-Зеро» появилось понимание шахмат на уровне концепций. Это невероятно интересно. Вот бы узнать, что именно она поняла! К сожалению, с ИИ это проблема – мы получаем только выводы, но не знаем, как к ним пришли. Если когда-нибудь мы научимся расшифровывать путь ИИ к выводам, это станет огромным шагом вперёд.
Окончание следует