|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
конец "эры милосердия")
AlphaZero - Stockfish8
1-0
Google
AlphaZero - Stockfish8
1-0
Google
AlphaZero - Stockfish8
1-0
Google
AlphaZero - Stockfish8
1-0
Google
AlphaZero - Stockfish8
1-0
Google
AlphaZero - Stockfish8
1-0
Google
AlphaZero - Stockfish8
1-0
Google
AlphaZero - Stockfish8
1-0
Google
Stockfish8 - AlphaZero
0-1
Google
Stockfish8 - AlphaZero
0-1
Google
|
|
|
| |
|
|
Вышла статья про Альфазеро алгоритм. Кто не в курсе -- это результат работы компании DeepMind, которые написали прогу, что победила сильнейшего игрока в Го.
Участие человека в процессе обучения равно нулю. Прога играла сама с собой с рандомной игры и выросла до такого уровня. Интересно, какие дебюты она научилась играть и что придумала сама. В Го, к примеру, Альфазеро привнесла кучу нового в теорию начал. |
|
|
| номер сообщения: 54-69-6236 |
|
|
|
|
Neofelis: Вышла статья про Альфазеро алгоритм. Кто не в курсе -- это результат работы компании DeepMind, которые написали прогу, что победила сильнейшего игрока в Го.
Участие человека в процессе обучения равно нулю. Прога играла сама с собой с рандомной игры и выросла до такого уровня. Интересно, какие дебюты она научилась играть и что придумала сама. В Го, к примеру, Альфазеро привнесла кучу нового в теорию начал. |
Да, я уже прочитал и обдумал.
В общем есть вкратце - играл он тестовый матч в конце против SF8, +28-0=72, имел в своём распоряжении 4 TPU по 45 Терафлоп каждый, что примерно соответствует 360 самым мощным процессорам на данный момент, стокфиш 8 играл на 60 ядрах.
Результат очень хорош, но на самом деле это примерно то, как бы SFdev отыграл против sf8 на такой разнице в железе.
В отличие от го и сёги разница между альфаЗеро и топовой программой тут совсем невелика (если вообще есть). Что показывает, насколько хороши современные движки 
Результат, конечно, всё равно потрясающий, но если прочитать статью, то видно, что в принципе прогресса за вторую половину итераций толком нету (на примере сёги, например, видно, что эло может даже вниз идти чуть-чуть).
Апдейт - похоже, что стокфиш пользовал 1 ГБ хэша, что ОЧЕНЬ мало для такого количества ядер... Что ещё занизило его результаты. Также не могу найти никаких упоминаний про эндшпильные таблицы. |
|
|
| номер сообщения: 54-69-6163 |
|
|
|
|
| Там самое ценное -- это value network, которая по сути, заменяет функцию оценки в текущих движках. Если ее засунуть в стокфиш, то он должен играть еще сильнее. В принципе, все TPU и нужны для быстрого пробега по этой нейронке. иначе она вечность думать будет. |
|
|
| номер сообщения: 54-69-6164 |
|
|
|
|
Статистика выбора дебютов гугловской прогой и результат в них против Стокфиша. Стоит отметить что она сама до них "додумалась"
Больше всего Английское начало ей полюбилось. |
|
|
| номер сообщения: 54-69-6165 |
|
|
|
|
| Neofelis: Там самое ценное -- это value network, которая по сути, заменяет функцию оценки в текущих движках. Если ее засунуть в стокфиш, то он должен играть еще сильнее. В принципе, все TPU и нужны для быстрого пробега по этой нейронке. иначе она вечность думать будет. |
Да в общем-то неважно.
Факт в том, что на более слабом железе и меньшем времени альфазеро просто слабее и в том, что они использовали сильно разбалансированное железо для финального тестирования. |
|
|
| номер сообщения: 54-69-6166 |
|
|
|
|
Согласен, немного смухлевали.
Кстати, очень интересно, как бы себя Стокфиш показал на этих TPU. Понятно, что нужно немного код переписать, но все же. Там же мощь невиданная.
P.S. Интересно все же, лучше ли полученная value network чем таковая в Стокфише? |
|
|
| номер сообщения: 54-69-6167 |
|
|
|
|
Обережний герой:
Так что, получается, alphazero - теперь самая сильная шахматная программа?
|
Похоже, что нет.
Она обыграла Sf8, имея в 8 раз больше мощности, у SF8 не было эндшпильных таблиц и было недостаточно хэша (1 GB на 64 ядра - это мало, на TCEC даётся 16 гигов на 43 ядра), с отрывом в 70-90 эло.
Почти уверен, что Sfdev покажет себя лучше.
Результаты очень сильные, но, похоже, лёгкая подтасовка данных и обеспечила этот отрыв в основном.  |
|
|
| номер сообщения: 54-69-6168 |
|
|
|
|
Результаты последнего Стокфиша против Стокфиша 8. Контроль 180+1,8:
tests.stockfishchess.org
Фифти-фифти получается. Даже без учета превосходства Альфы в железе. |
|
|
| номер сообщения: 54-69-6228 |
|
|
|
|
Rom77: Результаты последнего Стокфиша против Стокфиша 8. Контроль 180+1,8:
tests.stockfishchess.org
Фифти-фифти получается. Даже без учета превосходства Альфы в железе. |
Стоит учесть, что тут используется дебютная книга 8-ходовая, что помогает более слабому движку. Чем меньше книга - тем больше разница (обычно). |
|
|
| номер сообщения: 54-69-6229 |
|
|
|
|
Neofelis:
Согласен, немного смухлевали.
Кстати, очень интересно, как бы себя Стокфиш показал на этих TPU. Понятно, что нужно немного код переписать, но все же. Там же мощь невиданная. |
Даже если можно переписать, то вся скорость TPU при этом потеряется. Это справедливо и для обратного случая. Очень трудно сравнивать столь разные архитектуры.
Neofelis:
P.S. Интересно все же, лучше ли полученная value network чем таковая в Стокфише? |
Должна быть намного лучше. Просто по определению. |
|
|
| номер сообщения: 54-69-6230 |
|
|
|
|
Более того, у них там в статье есть график, где видно, что нужно на таком монструозном железе иметь типа 10 секунд на ход, чтобы стабильно переигрывать sf8. Ну а на обычном...
Эксперимент, конечно, интересный, но для практики толку мало. |
|
|
| номер сообщения: 54-69-6231 |
|
|
|
|
Vizvezdenec: Rom77: Результаты последнего Стокфиша против Стокфиша 8. Контроль 180+1,8:
tests.stockfishchess.org
Фифти-фифти получается. Даже без учета превосходства Альфы в железе. |
Стоит учесть, что тут используется дебютная книга 8-ходовая, что помогает более слабому движку. Чем меньше книга - тем больше разница (обычно). |
Но зато контроль меньше. |
|
|
| номер сообщения: 54-69-6232 |
|
|
|
|
Rom77: Vizvezdenec: Rom77: Результаты последнего Стокфиша против Стокфиша 8. Контроль 180+1,8:
tests.stockfishchess.org
Фифти-фифти получается. Даже без учета превосходства Альфы в железе. |
Стоит учесть, что тут используется дебютная книга 8-ходовая, что помогает более слабому движку. Чем меньше книга - тем больше разница (обычно). |
Но зато контроль меньше. |
Ну на самом деле разница невелика... Пока что так и вообще в пределах погрешности.
У SF 3 теста - 10+0.1, 60+0.6 и 180+1.8, 43, 43 и 40 с 1,7 ошибкой. Увеличение временного контроля ещё в 18 раз... Ну может быть ещё 2-3 эло уронит, а это уже будет минута на ход. |
|
|
| номер сообщения: 54-69-6205 |
|
|
|
|
Vizvezdenec: Rom77: Vizvezdenec: Rom77: Результаты последнего Стокфиша против Стокфиша 8. Контроль 180+1,8:
tests.stockfishchess.org
Фифти-фифти получается. Даже без учета превосходства Альфы в железе. |
Стоит учесть, что тут используется дебютная книга 8-ходовая, что помогает более слабому движку. Чем меньше книга - тем больше разница (обычно). |
Но зато контроль меньше. |
Ну на самом деле разница невелика... Пока что так и вообще в пределах погрешности.
У SF 3 теста - 10+0.1, 60+0.6 и 180+1.8, 43, 43 и 40 с 1,7 ошибкой. Увеличение временного контроля ещё в 18 раз... Ну может быть ещё 2-3 эло уронит, а это уже будет минута на ход. |
Ещё 64 потока надо учесть. |
|
|
| номер сообщения: 54-69-6206 |
|
|
|
|
Rom77: Vizvezdenec: Rom77: Vizvezdenec: Rom77: Результаты последнего Стокфиша против Стокфиша 8. Контроль 180+1,8:
tests.stockfishchess.org
Фифти-фифти получается. Даже без учета превосходства Альфы в железе. |
Стоит учесть, что тут используется дебютная книга 8-ходовая, что помогает более слабому движку. Чем меньше книга - тем больше разница (обычно). |
Но зато контроль меньше. |
Ну на самом деле разница невелика... Пока что так и вообще в пределах погрешности.
У SF 3 теста - 10+0.1, 60+0.6 и 180+1.8, 43, 43 и 40 с 1,7 ошибкой. Увеличение временного контроля ещё в 18 раз... Ну может быть ещё 2-3 эло уронит, а это уже будет минута на ход. |
Ещё 64 потока надо учесть. |
Ну там вообще непонятно как, т.к. тестов особо-то и нет.
64 потока это что-то вроде 30 speedup в терминах эло, надо тогда ещё раз на столько же умножить +/-. В общем-то разница будет, но может быть будет 35 вместо 40.
Зато если дать нормальный хэш, а не 1 ГБ - результаты должны стать лучше. |
|
|
| номер сообщения: 54-69-6207 |
|
|
|
|
Ну только вот у них нету 5000 TPU для тестирования, ага. 
Думаю, эти 4 часа счёта примерно эквивалентны годам на фиштесте, например. |
|
|
| номер сообщения: 54-69-6208 |
|
|
|
|
Vizvezdenec: Ну только вот у них нету 5000 TPU для тестирования, ага.
Думаю, эти 4 часа счёта примерно эквивалентны годам на фиштесте, например. |
Да, это верно. Для Го, к примеру, посчитали, что на обычном компе с хорошей видеокартой нужно 1700 лет чтобы нагенерить нужных 30 миллионов партий. Поэтому там общими усилиями "майнят". Около 200 людей уже подключились. Выходит 2000 партий в час в среднем. Все равно долго, но уже не 1700 лет)) |
|
|
| номер сообщения: 54-69-6209 |
|
|
|
|
Neofelis: Vizvezdenec: Ну только вот у них нету 5000 TPU для тестирования, ага.
Думаю, эти 4 часа счёта примерно эквивалентны годам на фиштесте, например. |
Да, это верно. Для Го, к примеру, посчитали, что на обычном компе с хорошей видеокартой нужно 1700 лет чтобы нагенерить нужных 30 миллионов партий. Поэтому там общими усилиями "майнят". Около 200 людей уже подключились. Выходит 2000 партий в час в среднем. Все равно долго, но уже не 1700 лет)) |
Ну если верить Milos Stanislavjevic, то получается, что 4 часа счёта на 5000 TPU=4*5000*540=10800000 цпу часов=450000 цпу дней.
На фиштесте в среднем крутится 400 машин, т.к. это около 1000 дней фиштестинга (а на самом деле больше, т.к. на фиштесте не хасвеллы, а не пойми что).
4 часа выглядит фантастикой, но на деле это 4 года фиштеста фактически, стокфишу бы такие мощности - был бы 3600 эло сейчас. |
|
|
| номер сообщения: 54-69-6210 |
|
|
|
|
| Да, эффективность очень низкая. Но здесь основной упор делается на неучастие человека в процессе (что тоже не совсем верно, ведь алгоритм разработали люди). То-есть, очень крассивый маркетинговый ход -- машина играя сама с собой, научилась всему. Вроде как отголоски настоящего АИ. И интересно чему она там научилась и как играет. Хоть бы партии выложили куда-то. А то повышенная секретность какая-то. |
|
|
| номер сообщения: 54-69-6211 |
|
|
|
|
| Neofelis: Да, эффективность очень низкая. Но здесь основной упор делается на неучастие человека в процессе (что тоже не совсем верно, ведь алгоритм разработали люди). То-есть, очень крассивый маркетинговый ход -- машина играя сама с собой, научилась всему. Вроде как отголоски настоящего АИ. И интересно чему она там научилась и как играет. Хоть бы партии выложили куда-то. А то повышенная секретность какая-то. |
Ну партии против сф8-то выложили некоторые.
Но это маркетинг, да, учитывая, что этот движок практически неприменим для реальной игры в шахматы и анализов.
Причём и не для пошаговых игр этот алгоритм тоже вроде как не очень хорош, его вроде бы в старкрафт пробовали научить играть, получилось фиговенько, профи он слил все игры. |
|
|
| номер сообщения: 54-69-6212 |
|
|
|
|
Vizvezdenec: Ну партии против сф8-то выложили некоторые.
Но это маркетинг, да, учитывая, что этот движок практически неприменим для реальной игры в шахматы и анализов.
|
В смысле, "неприменим"? Потому что не продаётся и запускается только на TPU? |
|
|
| номер сообщения: 54-69-6213 |
|
|
|
|
Rom77: Vizvezdenec: Ну партии против сф8-то выложили некоторые.
Но это маркетинг, да, учитывая, что этот движок практически неприменим для реальной игры в шахматы и анализов.
|
В смысле, "неприменим"? Потому что не продаётся и запускается только на TPU? |
Ну и это в том числе, но ещё и вот по какой причине:
https://i.imgur.com/BCHbyM7.png
Вот кусок из статьи. Т.е. Альфа0 слабее sf8 с 8 раз уменьшенным железом (или 35, по другим оценкам) и 1 гигабайтом хэша на времени типа 0,5 секунды/ход.
Если же взять SFdev да дать ему одинаковое железо... В общем на стандартном домашнем компе при практически любых реалистичных условиях, даже если переписать альфазеро под работу не на собственном кластере, он будет слабее современных движков, чем слабее железо и меньше времени - тем слабее. |
|
|
| номер сообщения: 54-69-6214 |
|
|
|
|
Лучше меня это бывший соавтор Fire объяснил всё:
http://talkchess.com/forum/viewtopic.php?topic_view=threads&p=741340&t=65911 |
|
|
| номер сообщения: 54-69-6215 |
|
|
|
|
странно, что ни на сайте ни в форуме об этом не пишут.
AlphaZero - это конец классических шахмат или я чего-то не понимаю? (буду рад чего-то не понимать в данном случае).
программа которая за неполных 4 часа самообучения громит Сток, очень быстро закроет все дебюты и шахматы превратятся в игру на запоминание. озвучиваю то, что кажется с первого взгляда. уверен, что есть "двойное дно", что-то ещё, чего я не вижу. |
|
|
| номер сообщения: 54-69-6216 |
|
|
|
|
Cube2: странно, что ни на сайте ни в форуме об этом не пишут.
AlphaZero - это конец классических шахмат или я чего-то не понимаю? (буду рад чего-то не понимать в данном случае).
программа которая за неполных 4 часа самообучения громит Сток, очень быстро закроет все дебюты и шахматы превратятся в игру на запоминание. озвучиваю то, что кажется с первого взгляда. уверен, что есть "двойное дно", что-то ещё, чего я не вижу. |
вся прошлая страница об этом 
Если суммировать просто факты, то:
1) Стокфишу поотрубали плавники, вырвали зубы и поставили играть в заведомо неравных условиях.
В каком плане? Ну во-первых, противник играл на 4 TPU, оценки разные, сколько это в ядрах, но от 400 до 8000 они. Стокфишу же выдали 64 ядра и 1 ГБ хэша, что просто криминал, т.к. надо минимум 16 под такое количество ядер и такой временной контроль. Т.е. просто на железе разница уже как минимум эло 100 составляет. Во-вторых, АльфаЗеро играл дебюты, которые были выбраны как "лучшие" для него и на них потом он тренировался, они выбирались огромной нейронной сетью, в то время как стокфиш играл с нуля, т.е. без дебютной книги. Понятно, что тут опять сильно разные алгоритмы и сравнение апельсинов с яблоками немного, но для стокфиша есть книга Cerebellum, которая сделана как раз на основе игр самим с собой, где выводятся вперёд варианты, где он лучше всего может себя показать. Она добавляет ещё 50 эло. Но если играть без дебютной книги, то надо ставить сеты нестандартных позиций (аля финалы TCEC), т.к. альфазеро тренировался на "хороших" позициях, а стокфиш тренируется на 2-ходовой книге, в которую входит и всякая дрянь, в первую очередь для того, чтобы адекватно оценивать и неправильные дебюты тоже. В-третьих, временной контроль был выбран как "минута за ход" жёсткий, что дефолт для нейронки, но совсем не дефолт для шахмат в принципе, любая шахматная программа использует время неравномерно и в общем пользование времени такое тоже приносит эло, которое тут украли. Это ещё 20 эло или около того. Итого стокфиш подрезали где-то на 170 эло, а обыграли на 100 со стартовой позиции и на 70 с позиций 4-ходовых. Более того, использовалась версия годичной давности, которая на 40-45 эло слабее текущей (на 8-ходовой книге и разница больше на 0 и 4 ходовых книгах, разумеется). В общем 200 эло (скорее всего, конечно, несколько меньше, т.к. на таком уровне уже просто пойдёт компрессия эло, но всё же) или около того укралось просто потому что вот так вот;
2) Если посмотреть статью саму, то становится видно, что АльфаЗеро становится тем относительно слабее, чем меньше времени на ход. Соответственно, если делать игры на более слабом железе, то ему нужно будет больше времени. В итоге мы имеем монструозное железо с минутой на ход, где оно "явно сильнее", но вот на условных 8 ядрах уже понадобится час, два, день, век на ход (непонятно сколько), чтобы он не играл на условные 200 эло слабее, чем стокфиш. Т.е. даже если разработчики и займутся портом его со своего супер-железа на обычное, толку будет весьма мало, разве что для адванса, и то не факт;
3) Кстати, по поводу 4 часов самообучения. Звучит прекрасно, но не нужно забывать, что это гугл. Мы тут прикидывали, конечно, это опять сравнение яблок с апельсинами, но час самообучения по порядку примерно столько же, сколько стокфиш тратит в год своей разработки мощностей счёта. Т.е. они за 4 часа сделали столько же, сколько стокфиш за само существование фиштеста! Дайте стокфишу такое железо - он тоже будет очень и очень быстро прогрессировать. Хоть, конечно, и не так быстро;
4) Практическое применение данного подхода в шахматах для создания движков весьма сомнительно. Слишком нужно много железа для такой нейронной сети и результат не настолько радикально отличается, как в сёги, где разница между прогой и альфазеро 300 эло, у нас же как бы 70, которые вроде бы и не 70;
5) Сама идея создания шахматных суперкомпов на данный момент никому особо не интересна и бесполезна. Т.к. никто не будет закупать эти TPU, которые стоят миллионы долларов, чтобы что-то с ними анализировать, а на меньшем железе нейронки просто неспособны работать нормально. По крайней мере любой шахматный любитель будет гонять анализы на домашнем компе, особенно экспресс анализы, а на таком железе и времени классические шахматные проги >>> альфазеро. Более того, если вести разработку стокфиша для суперкомпов конкретно, я уверен, что его можно сделать существенно сильнее, т.к. в дип блю в своё время, например, было 8000 параметров оценочной функции, в стокфише же их около сотни, т.к. каждый параметр замедляет его работу, но вот если вынести их счёт в отдельные устройства - будет всё далеко не так ужасно и можно будет усложнить оценочкую функцию по самое не хочу, что даст некоторое количество эло. Более того, не стоит забывать, что стокфиш весит всего-то 400 килобайт, а альфазеро нужны вот эти вот TPU монстры;
6) Шахматы это, тоже, разумеется, не убьёт. Хотя бы потому, что человеку толком всё равно, 3300 у него советчик, 3400 или 3500. Да, на большей нейронной сети натренированный альфазеро, наверное, сможет быть на 100-150 эло честно быть сильнее стокфиша (или нет), может быть, он даже всегда будет выдавать абсолютно идеальный ход, но в реальной игре уже давно шахматисты ходят не в первые линии, а в те, где противнику труднее правильные ходы найти за доской.
В общем если всё просуммировать - эксперимент весьма любопытный, доказывающий, что пошаговые игры нейронки решают хорошо, но в контексте шахмат от него мало толку - движок использовать у обычного человека вряд ли выйдет, разработка движков таким методом будет нерентабельна, а разница в их силе игры с классическими брутфорс прогами не настолько критична, как в го или сёги. |
|
|
| номер сообщения: 54-69-6217 |
|
|
|
|
| Vizvezdenec: Если суммировать просто факты, то: |
Спасибо!
Сегодня Шипов восхищался новой программой - но скепсис остался и хотелось услышать мнение профессионала в этой теме.
__________________________
In my humble opinion |
|
|
| номер сообщения: 54-69-6218 |
|
|
|
|
vinteru: | Vizvezdenec: Если суммировать просто факты, то: |
Спасибо!
Сегодня Шипов восхищался новой программой - но скепсис остался и хотелось услышать мнение профессионала в этой теме. |
Я не профессионал, а тоже любитель Да, альфазеро играет великолепно... Но не полностью идеально (в схожих условиях стокфиш дев вынес бы сф 8, скорее всего, с большей разницей очков), так ещё и для практики толком бесполезен. Но если рассматривать его как пиар-ход - он прекрасен. А если не как пиар-ход - то очень плох, т.к. настолько мало усилий приложить, чтобы дать противнику условно хотя бы равные шансы - надо ещё постараться. |
|
|
| номер сообщения: 54-69-6219 |
|
|
|
|
Свидлер сказал, что альфа сама за несколько часов самостоятельно сформировала современную дебютную базу. Пока в новоиндийской. Не верю.
__________________________
Спасение там, где опасность. |
|
|
| номер сообщения: 54-69-6220 |
|
|
|
|
| Vova17: Свидлер сказал, что альфа сама за несколько часов самостоятельно сформировала современную дебютную базу. Пока в новоиндийской. Не верю. |
Так а что нереального-то? Ну вот берём любой движок, сажаем на условные 10 миллионов ядер, даём ему играть какое-то количество партий, отбираем лучшие варианты - вот вам и дебютная база. Просто эти "несколько часов" для дипмайнда по затраченному процессорному времени примерно равны нескольким годам в разработке стокфиша условного в силу того, что у них в десятки тысяч раз мощнее железо. |
|
|
| номер сообщения: 54-69-6221 |
|
|
|
|
Vizvezdenec:
Если суммировать просто факты, то:
|
спс, успокоили. пару вопросов осталось. освобожусь, спрошу. |
|
|
| номер сообщения: 54-69-6222 |
|
|
| |
|
|
|
|
|
|
|
| Copyright chesspro.ru 2004-2024 гг. |
|
|
|
