|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
Vizvezdenec выше, как чуть раньше Stanisavljevic на talkchess разложили по полочкам, за что им спасибо
большая часть приведенных аргументов довольно очевидна - гугл провел чудовищный тест в дико неравных условиях, и если они выставляют результат как объективный, за такой дешевый пиар их надо сечь розгами до скончания века
матч в принципе не является сравнительным, если поставить альфазеро в равные с другими условия на железо TCEC, думаю у альфазеро будут большие проблемы с попаданием в восьмерку, пмм, не попадет
я сделал беглый движковый анализ стоком и криттером одной из партий, в которой альфазеро победил - сток даже в таких дико неравных условиях ничем не уступает по игре, проигрыш из-за одного неточного хода в позиции с оценкой 0,00 в следствии жесткого обрезания и упрощенной оценки, причем сток сам же чуть позже и находит свою неточность
если адаптировать его под железо, на котором играл альфазеро, так жестко резать не надо и оценку можно нарастить, слабостей не будет, но это будет другой движок с другим уровнем силы
сейчас же сток делается как игровой модуль под реально имеющееся у народа железо |
|
|
| номер сообщения: 54-69-6223 |
|
|
|
|
ок, условия были сманипулированы в сторону дип майнда, стоку подрезали крылышки, отрубили хвост, сузили дебютную базу, ок понятно. честь Стока меня не волнует. меня также не волнует прикладной вопрос имплементации суперкомпа в чьей-то подготовке.
единственное, что меня да волнует - если дать этой самообучающейся штуковине ещё 4 часа/20 часов/358 часов, сыграть ещё энное колличество партий в энной степени - может ли она "закрыть" шахматы? типа решить их? скажем сыграв сама с собой ещё 100 ярдов партеек - закрыть кучу дебютных вариантов итд. это возможный сценарий? |
|
|
| номер сообщения: 54-69-6224 |
|
|
|
|
Cube2: ок, условия были сманипулированы в сторону дип майнда, стоку подрезали крылышки, отрубили хвост, сузили дебютную базу, ок понятно. честь Стока меня не волнует. меня также не волнует прикладной вопрос имплементации суперкомпа в чьей-то подготовке.
единственное, что меня да волнует - если дать этой самообучающейся штуковине ещё 4 часа/20 часов/358 часов, сыграть ещё энное колличество партий в энной степени - может ли она "закрыть" шахматы? типа решить их? скажем сыграв сама с собой ещё 100 ярдов партеек - закрыть кучу дебютных вариантов итд. это возможный сценарий? |
Ей дали еще 5 часов, но с какого-то момента сила перестала расти. |
|
|
| номер сообщения: 54-69-6225 |
|
|
|
|
Cube2: ок, условия были сманипулированы в сторону дип майнда, стоку подрезали крылышки, отрубили хвост, сузили дебютную базу, ок понятно. честь Стока меня не волнует. меня также не волнует прикладной вопрос имплементации суперкомпа в чьей-то подготовке.
единственное, что меня да волнует - если дать этой самообучающейся штуковине ещё 4 часа/20 часов/358 часов, сыграть ещё энное колличество партий в энной степени - может ли она "закрыть" шахматы? типа решить их? скажем сыграв сама с собой ещё 100 ярдов партеек - закрыть кучу дебютных вариантов итд. это возможный сценарий? |
Вопрос на самом деле любопытный.
У них там был график прогресса эло - во второй половине прогресса особо не видно. Так что не уверен, что ещё 812312 часов что-то существенное добавят.
Это первое.
Я вообще не уверен, что шахматы "закроет" что-либо, кроме как создание выигрышной/ничейной стратегии, воспроизводимой человеком. Т.е. даже если эта нейросеть сможет идеально играть в шахматы (чего она не сможет сделать, т.к. даже альфаго, который там 18 раз усовершенствовали, всё равно сливает 10-15% игр прошлой версии), "закрыть" она ничего не сможет. Ну, допустим, она "докажет", что при правильной игре результатом шахматной партии будет ничья. И что? Да, пусть она даже может выдавать в любой момент времени "лучший" ход. Вопрос в том, что "лучший" ход сильно отличается для игрока 3500 эло и для игрока 2800, для последних всегда лучше пойти на острый вариант, где тяжёлая единственная защита, но которая выигрывает, а для первого это проигрыш партии.
Более того, вряд ли гугл будет сильно заниматься этим дальше - пиара для нейронки получили и ладно. А создание подобных движков, которые смогут похожий результат повторить, сейчас нереально.
Безусловно, за этим всем будущее, только вот насколько близкое? Особого прогресса в том, чтобы сделать нейросети менее требовательными по железу, как-то я не замечал, а это значит, что в ближайшем будущем шахматы даже теоретически не "закроют", а практически, мне кажется, их вообще закрыть невозможно.
А для "закрытия" каких-то вариантов вполне хватает и обычных движков  |
|
|
| номер сообщения: 54-69-6226 |
|
|
|
|
ок, понятно  |
|
|
| номер сообщения: 54-69-6175 |
|
|
|
|
| Спасибо, Vizvezdenec! Очень интересный и познавательный рассказ про AlphaZero! |
|
|
| номер сообщения: 54-69-6176 |
|
|
|
|
Пока суть да дело, на TCEC начался рапид-блиц минитурнир. 
http://tcec.chessdom.com/live.php
А по поводу альфазеро, Jeweller правильно говорит, что стокфиш не адаптирован под такое железо.
Например, у всех современных движков есть эвристика Null move pruning, которая предполагает, что в подавляющем большинстве позиций есть ход, который её улучшает. Что верно почти всегда, кроме позиций цугцванга. Поэтому почти все современные движки с цугцвангами плохо обращаются. Но если на 2000 ядрах их запускать, то вполне можно условные 2 ядра иметь, где она выключена. Стокфиш пытался так делать на 15 (большего количества ядер в фреймворке почти никогда нет), но там падение силы от 1 потока пересиливает лучшую игру в позициях цугцванга, т.к. те достаточно редки.
И так можно много чего сделать, можно отключать разные неселективные усечения дерева поиска и делать движок сильным на 2000 ядрах... Только чтобы на 5 он был сильно слабее.  |
|
|
| номер сообщения: 54-69-6177 |
|
|
|
|
картинка вам в ленту
ход черных, которыми играет стокфиш. результат - 1-0.
чесском статью написал, там есть ссылка на 10 избранных партий
но более всего меня потрясает результат: я не представляю себе сухой матч из ста между игроками с разницей менее сотни эло
инстинктивно я подозреваю, что альфазеро почему-то решил, что не проигрывать в шахматах важнее, чем побеждать. и боюсь думать что будет, если он поймет, что это не так. |
|
|
| номер сообщения: 54-69-6178 |
|
|
|
|
saluki: картинка вам в ленту
ход черных, которыми играет стокфиш. результат - 1-0.
чесском статью написал, там есть ссылка на 10 избранных партий
но более всего меня потрясает результат: я не представляю себе сухой матч из ста между игроками с разницей менее сотни эло
инстинктивно я подозреваю, что альфазеро почему-то решил, что не проигрывать в шахматах важнее, чем побеждать. и боюсь думать что будет, если он поймет, что это не так. |
На самом деле не такое уж невероятное событие для движков.
Stockfish8-komodo 10.1 у Clemens Keck в своё время закончился со счётом +16-1=85, так там и не 100 эло разницы было Особенно если движкам ставить очень ничейные позиции или заставлять их играть со стартовой - если движок сильнее противника на 100 эло, то он, весьма вероятно, ничего не проиграет. Чтобы было меньше ничьих поэтому движкам обычно ставят жёсткий нестандарт достаточно, чтобы они поиграли, а не находили троекратное на 10 ходу... |
|
|
| номер сообщения: 54-69-6179 |
|
|
|
|
Vizvezdenec:
Stockfish8-komodo 10.1 у Clemens Keck в своё время закончился со счётом +16-1=85, так там и не 100 эло разницы было |
16-1 - верю. 28-0 - это вынос мозга.
| Особенно если движкам ставить очень ничейные позиции или заставлять их играть со стартовой - если движок сильнее противника на 100 эло, то он, весьма вероятно, ничего не проиграет. Чтобы было меньше ничьих поэтому движкам обычно ставят жёсткий нестандарт достаточно, чтобы они поиграли, а не находили троекратное на 10 ходу... |
тут им ничего не ставили; и мне интересно, что было бы, если бы альфазеро играл по сичтеме 3 очка за победу, 1 за ничью.
и да, на чесс24 10 партий выложены во вьюер. с оценкой их стокфиша) |
|
|
| номер сообщения: 54-69-6180 |
|
|
|
|
saluki: Vizvezdenec:
Stockfish8-komodo 10.1 у Clemens Keck в своё время закончился со счётом +16-1=85, так там и не 100 эло разницы было |
16-1 - верю. 28-0 - это вынос мозга.
| Особенно если движкам ставить очень ничейные позиции или заставлять их играть со стартовой - если движок сильнее противника на 100 эло, то он, весьма вероятно, ничего не проиграет. Чтобы было меньше ничьих поэтому движкам обычно ставят жёсткий нестандарт достаточно, чтобы они поиграли, а не находили троекратное на 10 ходу... |
тут им ничего не ставили; и мне интересно, что было бы, если бы альфазеро играл по сичтеме 3 очка за победу, 1 за ничью.
и да, на чесс24 10 партий выложены во вьюер. с оценкой их стокфиша) |
Ну можно поставить SF dev, будут те самые 28-0 (условно). Особенно если поставить их по дефолту в очень ничейные позиции.
Ещё 1 недостаток нейронки - она играет сама с собой и находит "идеальный" способ игры, но его никак не покрутить. Например, никакого contempt, который помогает выносить более слабые движки за счёт того, что движок играет более агрессивно и менее солидно, там нету. |
|
|
| номер сообщения: 54-69-6181 |
|
|
|
|
Можно сказать теперь, что в идее Ботвинника уйти от брутфорса и ограничить перебор разумными продолжениями что-то было?
__________________________
pr.ai PRAI Portal of Robotics and Artificial Intelligence |
|
|
| номер сообщения: 54-69-6182 |
|
|
|
|
| Обережний герой: Можно сказать теперь, что в идее Ботвинника уйти от брутфорса и ограничить перебор разумными продолжениями что-то было? |
Так это было ясно ещё при первом релизе альфаго.
Другой вопрос, что пока это требует суперкомпов и прогресса в уменьшении необходимого железа особо нету. |
|
|
| номер сообщения: 54-69-6183 |
|
|
|
|
| Обережний герой: Можно сказать теперь, что в идее Ботвинника уйти от брутфорса и ограничить перебор разумными продолжениями что-то было? |
Это не идея Ботвинника, это идея Шеннона. Идея Ботвинника заключалась в том, что никакие иные алгоритмы кроме человеческих в шахматах работать не будут. Поэтому, чтобы машина играла сильно, нужно формализовать человеческие алгоритмы и запрограммировать в виде определенных правил. Такой подход не привёл к успеху ни в шахматах, ни в го. Хотя многие пытались, особенно в го. К успеху привёл подход Артура Самюэля, который был продемонстрирован им на примере американских шашек в 1955 году.
Ботвинника ратовал за подход "сверху", когда человек сам закладывает в машину конкретные решения. По смыслу этот подход близок к современным экспертным системам. В го этот подход пытались реализовать свыше 20 лет, но успеха так и не добились. В отличие от Ботвинника, Самюэль пытался реализовать подход "снизу", который он назвал машинным обучением. Это подход, когда машина сама обучается на примерах. Подробнее можно почитать в шапке этой (ru.wikipedia.org/wiki/Машинное обучение) статьи. Развитие подхода Самюэля привело к успеху в нардах в начале 1990-х, в го с середины 2010-х, а теперь продемонстрировало отличные результаты и в шахматах. |
|
|
| номер сообщения: 54-69-6184 |
|
|
|
|
несколько лет назад, кажется после выхода Жирафа, NS (автор Анечки) на иммортале показывал расчетами насколько нейросеть в шахматах хуже альфа-беты - намного, поэтому ее никто не использует
в отличие от го, где нейросеть лучше
пост этот найти сходу не удалось, нашел этот (написанный по другому поводу):
| NS: Нейросеть медленна. И понятно что в готовой, игровой программе не должно быть никаких нейросетей. А обучать нужно отдельно, до выхода готовой программы. Что все и делают, только без нейросетей. |
по прошедшему матчу - взяли бы вместо восьмого стока текущие BrainFish или asmBrainFish, которые на 90-95 пунктов сильнее, никаких 28-0 не было бы, был бы примерно равный счет даже при диком превосходстве альфазеро в железе
на равном железе любопытно было бы посмотреть, если бы альфу заявили на следующий TCEC, но что-то мне подсказывает, что этого не будет:)
по "закрытию "шахмат - если скорость усиления в ~40-50 эло в год сохранится, до "закрытия" еще лет 30-40, нынешние программы еще очень слабы относительно финишного варианта, примерно как 2-3-разрядник против 2800 |
|
|
| номер сообщения: 54-69-6185 |
|
|
|
|
| ...чесском статью написал, там есть ссылка на 10 избранных партий |
Вся эта поднявшаяся шумиха начала раздражать  :
1) постоянно происходит путаница между соревнованиями программ (как напр. TCEC) (-ими интересуются большинство при выборе "движка" для анализа на своем "железе") и соревнованиями компьютеров (конечно, с соответствующими прогами) (-ими интересуются любители "абсолютной истины", напр. "идеального дебюта" и т.п.)...
2) да, в соревновании КОМПЬЮТЕРОВ Стокфиш дал ОГРОМНУЮ фору младенцу АльфаЗеро и ... проиграл. Ну и что? Еще во времена Чигорина были в моде подобные гандикап турниры и матчи, где играли и любители, и Мастера, дающие соответствующую фору.
После такого выигрыша результат/вывод какой? - БОЛЬШЕ ТАКОЙ ОГРОМНОЙ ФОРЫ этому молокососу - не давать  , т.е. победитель поднимается в следующий "класс". Только и всего.
P.S. Конечно, те, которые интересуется "идеальным дебютом", получили очередную порцию пищи  (хотя, для этого, желательно запись ВСЕХ партий - они где-то выложены?)... |
|
|
| номер сообщения: 54-69-6186 |
|
|
|
|
Но партия, где белые без фигуры и пешки делают массу тихих ходов, неторопливо маневрируют ферзём, загоняя его на h3, производит сильное впечатление. Действительно, какие-то инопланетные шахматы.
__________________________
pr.ai PRAI Portal of Robotics and Artificial Intelligence |
|
|
| номер сообщения: 54-69-6187 |
|
|
|
|
etg: | ...чесском статью написал, там есть ссылка на 10 избранных партий |
Вся эта поднявшаяся шумиха начала раздражать :
1) постоянно происходит путаница между соревнованиями программ (как напр. TCEC) (ими интересуются большинство при выборе "движка" для анализа на своем "железе") и соревнованиями компьютеров (конечно, с соответствующими прогами) (ими интересуются любители "абсолютной истины", напр. "идеального дебюта" и т.п.)...
2) да, в соревновании КОМПЬЮТЕРОВ Стокфиш дал ОГРОМНУЮ фору младенцу АльфаЗеро и ... проиграл. Ну и что? Еще во времена Чигорина были в моде подобные гандикап турниры и матчи, где играли и любители, и Мастера, дающие соответствующую фору.
После такого выигрыша результат/вывод какой? - БОЛЬШЕ ТАКОЙ ОГРОМНОЙ ФОРЫ этому молокососу - не давать , т.е. победитель поднимается в следующий "класс". Только и всего.
P.S. Конечно, те, которые интересуется "идеальным дебютом", получили очередную порцию пищи (хотя, для этого, желательно запись ВСЕХ партий - они где-то выложены?)... |
Так стокфиш никто и не спросил, собственно. Поставили его на фиговом железе и с кривыми настройками - дескать, мол, играй. Поэтому я рассматриваю этот "матч" исключительно как пар дипмайнд, о котором стали подзабывать уже, т.к. настолько мало усилий приложить к созданию равных условий для играющих весьма тяжело. |
|
|
| номер сообщения: 54-69-6188 |
|
|
|
|
посмотрел еще пару партий с мультипв=5 стоком и криттером, везде одно и то же - уходят в позицию, где оценка стока обнуляется до 0,00, дальше длинный вариант, где на каждом полуходе сток дает 0,00 нескольким ходам (от одного до нескольких) - длинное ветвистое дерево с нулевыми оценками, потом в конце варианта "бах" и оценка скачком меняется на "-1"
причины - сильно упрощенная ОФ и сильно режет, и это эффективная адаптация для того "бытового" железа, на котором сток используется (об этом выше уже говорили)
адаптация под мощное железо очевидно этих длинных "нулевых" деревьев не давала бы |
|
|
| номер сообщения: 54-69-6189 |
|
|
|
|
| Обережний герой: Но партия, где белые без фигуры и пешки делают массу тихих ходов, неторопливо маневрируют ферзём, загоняя его на h3, производит сильное впечатление. Действительно, какие-то инопланетные шахматы. |
Присоединяюсь 
P.S.
...но никто не отменил того, что Стокфиш на соответствующих мощностях тоже, наверно, не менее красиво и "инопланетнно" обыграла бы себя. ...
| Vizvezdenec: Так стокфиш никто и не спросил, собственно. Поставили его на фиговом железе и с кривыми настройками - дескать, мол, играй. Поэтому я рассматриваю этот "матч" исключительно как пар дипмайнд, о котором стали подзабывать уже, т.к. настолько мало усилий приложить к созданию равных условий для играющих весьма тяжело. |
И, хотя, программа AlphaZero, по сравнению с программой DeepBlue времен Каспарова, действительно по уровню из другой планеты
(DeepBlue, подозреваю, невзирая на свои мощности, вряд ли имела бы преимущество над сегодняшними "Big 3", - если ошибаюсь, может быть, меня поправят знатоки...),
то пиар команд тоже разительно различается, но в другую сторону:
- DeepBlue так и рекламировал свои вычислительные мощности, а не программу;
- Google - вместо заголовка что-то в роде "Суперкомпьютер разгромил телефон" , делает подмену понятий, как будто состоялась битва программ ("A0 vs SF"), а не компьютеров.  |
|
|
| номер сообщения: 54-69-6190 |
|
|
|
|
https://groups.google.com/forum/#!topic/fishcooking/pcFRIurN_l4
Вот на форуме разработчиков стокфиша кто-то делал тестран SF8 с временем на ход против SFdev с тем же временем*40/40 ходов (т.е., фактически, контроль в матче SF-Alphazero против обычного).
Score of sf8_1in1 vs sf_master: 4 - 31 - 65 [0.365] 100
Elo difference: -96.19 +/- 38.81
И это на одинаковом-то железе
А дипблю сейчас проиграл бы любой матч стокфишу на любом тостере, конечно же. |
|
|
| номер сообщения: 54-69-6191 |
|
|
|
|
Тем временем стокфиш разгрохал Fire чёрными в сицилианке, причём атакой на королевском фланге  Получилась какая-то староиндийка или Пирц, только у белых пешка на d3, а не на d5... |
|
|
| номер сообщения: 54-69-6192 |
|
|
|
|
vinteru: | Vizvezdenec: Если суммировать просто факты, то: |
Спасибо!
Сегодня Шипов восхищался новой программой - но скепсис остался и хотелось услышать мнение профессионала в этой теме. |
Я когда-то зарабатывал на жизнь написанием шахматных програм.
Алфа закрыла все предыдущее шахматное программирование. Для людей же она безумно интересна. В отличии от всей прочей компьютерной белиберды она раширяет понимание игры. |
|
|
| номер сообщения: 54-69-6193 |
|
|
|
|
izha: vinteru: | Vizvezdenec: Если суммировать просто факты, то: |
Спасибо!
Сегодня Шипов восхищался новой программой - но скепсис остался и хотелось услышать мнение профессионала в этой теме. |
Я когда-то зарабатывал на жизнь написанием шахматных програм.
Алфа закрыла все предыдущее шахматное программирование. Для людей же она безумно интересна. В отличии от всей прочей компьютерной белиберды она раширяет понимание игры. |
чем же, интересно?
Для "понимания" игры альфа даёт ещё меньше, чем любые "классические" шахматные проги, т.к. те хотя бы можно препарировать и посмотреть, как они думают, альфазеро же просто является "чёрным ящиком", который сам строит свою логику. Засунул ему на вход позицию и он по неизвестному алгоритму выдал наружу ход. |
|
|
| номер сообщения: 54-69-6194 |
|
|
|
|
izha:
В отличии от всей прочей компьютерной белиберды она раширяет понимание игры. |
Не могли бы Вы пожалуйста поподробнее на этом моменте? в чем качественное отличие от стока и прочих прог? |
|
|
| номер сообщения: 54-69-6195 |
|
|
|
|
| izha: Я когда-то зарабатывал на жизнь написанием шахматных програм. |
Вот с этого момента, пожалуйста. |
|
|
| номер сообщения: 54-69-6196 |
|
|
|
|
Vizvezdenec:
альфазеро же просто является "чёрным ящиком", который сам строит свою логику. Засунул ему на вход позицию и он по неизвестному алгоритму выдал наружу ход. |
А в черном, черном ящике сидит маленький черный, черный человек...
__________________________
Спасение там, где опасность. |
|
|
| номер сообщения: 54-69-6197 |
|
|
|
|
Cube2: izha:
В отличии от всей прочей компьютерной белиберды она раширяет понимание игры. |
Не могли бы Вы пожалуйста поподробнее на этом моменте? в чем качественное отличие от стока и прочих прог? |
Очень грубо говоря. Ход 1.е2-е4 лучше, чем 1.h2-h4, как нас научили в раннем детстве дедушки/бабушки. А два слона сильнее чем два коня обычно. Это мы прочли в книжке длы 4-го разряда. И вообще слон вроде сильнее коня, хотя почему-то конь с ферзем может и лучше слона с ферзем и какая-то там инициатива отличная компенсация за что-нибудь еще, как нам сказал тренер. А потом смотришь на партию Фишера где вроде ничего не происходит, а потом он выигрывает и пытаешься понять как же это он делает. Могу ошибаться, но то что АлфаЗеро рассматривает в тысячу раз меньше позиций говорит о том, что она узнала о шахматах много нового и не я, конечно, но сильные гроссмейстеры будут изучать ее партии, как мы Фишера в детстве. Кстати, насколько я помню, Го чампион проигравший АлфаГо изучает ее партии и людям больше не проигрывает. А Сток к шахматам отношения не имеет. Минимим знаний вложенных людьми, не на уровне даже 2го разряда, а дальше немного математики, немного эвристики и много оптимизации быстродействия железа. Сегодняшние (вчерашиние!) программы убивают шахматы а Алфа развивает. |
|
|
| номер сообщения: 54-69-6198 |
|
|
|
|
izha: Cube2: izha:
В отличии от всей прочей компьютерной белиберды она раширяет понимание игры. |
Не могли бы Вы пожалуйста поподробнее на этом моменте? в чем качественное отличие от стока и прочих прог? |
Очень грубо говоря. Ход 1.е2-е4 лучше, чем 1.h2-h4, как нас научили в раннем детстве дедушки/бабушки. А два слона сильнее чем два коня обычно. Это мы прочли в книжке длы 4-го разряда. И вообще слон вроде сильнее коня, хотя почему-то конь с ферзем может и лучше слона с ферзем и какая-то там инициатива отличная компенсация за что-нибудь еще, как нам сказал тренер. А потом смотришь на партию Фишера где вроде ничего не происходит, а потом он выигрывает и пытаешься понять как же это он делает. Могу ошибаться, но то что АлфаЗеро рассматривает в тысячу раз меньше позиций говорит о том, что она узнала о шахматах много нового и не я, конечно, но сильные гроссмейстеры будут изучать ее партии, как мы Фишера в детстве. Кстати, насколько я помню, Го чампион проигравший АлфаГо изучает ее партии и людям больше не проигрывает. А Сток к шахматам отношения не имеет. Минимим знаний вложенных людьми, не на уровне даже 2го разряда, а дальше немного математики, немного эвристики и много оптимизации быстродействия железа. Сегодняшние (вчерашиние!) программы убивают шахматы а Алфа развивает. |
Прекрасное понимание логики шахматных программ и всего остального. Вопросов больше не имеется  |
|
|
| номер сообщения: 54-69-6199 |
|
|
|
|
Roger: | izha: Я когда-то зарабатывал на жизнь написанием шахматных програм. |
Вот с этого момента, пожалуйста. |
Уже упоминал когда-то. С конца 80х писал 4 года программы для Kasparov Chess desktop computers. Их выпускал Saitek. Железо делали в Гонг Конге, а программы в Беркли. |
|
|
| номер сообщения: 54-69-6200 |
|
|
| |
|
|
|
|
|
|
|
| Copyright chesspro.ru 2004-2024 гг. |
|
|
|
