Crosses Only Game

Эта игра была больше практикой для понимания и реализации поиска по дереву Монте-Карло (MCTS) в полностью наблюдаемой пошаговой игре. Сама игра представляет собой разновидность крестиков-ноликов, показанную в этом видео.

Способ игры заключается в том, что вы и компьютер играете за крестики на трех сетках 3x3. Когда один игрок размещает X, который вызывает 3 в ряд, сетка больше не воспроизводится. Проигравшим считается игрок, выстроивший 3 подряд в последней игровой сетке.

Подробное объяснение можно найти здесь. Однако вот краткое объяснение: 
ИИ рассматривает все возможные действия, которые он может предпринять, и пытается определить действие, которое с наибольшей вероятностью приведет к победе. Допустим, он смотрит на выполнение действия a и сопоставляет это действие с новым состоянием. Затем он рассмотрит все действия из этого нового состояния, которые предпримет игрок. После исследования такого количества состояний (т. е. количества итераций) он оценит все возможные действия и количество раз, когда они приводили к победе, и выберет оптимальное действие.

Это визуализируется в (довольно грубом) дереве, включенном в игру. Верхний (то есть корневой) узел — это текущее состояние доски. Все квадраты (т.е. узлы) непосредственно под корнем — это новые состояния после выбора действия. Впоследствии слой ниже, который представляет компьютеры, и т. д. Он не визуализирует, что представляют собой состояния, но показывает значения узлов и ребер с помощью цвета (зеленый = компьютер выигрывает, красный = h).человек выигрывает) и размер края. Его также можно использовать, чтобы увидеть, как дерево меняется в ходе игры, количество итераций и константа поиска (1,0 = ищет все возможные варианты, 0,0 = ищет то, что, по его мнению, является лучшим узлом). как можно больше).