|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
"Computer science" - это такое же широкое понятие, как "физика". А тут речь об узких специалистах, о специалистах конкретно по ИИ.
Это мой последний ответ вам, ибо медный лоб ничем не прошибёшь, да и незачем прошибать. |
|
|
| номер сообщения: 49-58-42772 |
|
|
|
|
Evgeny Gleizerov: "Computer science" - это такое же широкое понятие, как "физика". А тут речь об узких специалистах, о специалистах конкретно по ИИ.
|
В которых Вы, неуч, разбираетесь. Ага. 
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42773 |
|
|
|
|
| номер сообщения: 49-58-42774 |
|
|
|
|
| saluki: вот сэма альтмана я бы послушал по этому поводу безусловно. интересно, как он себе представляет риски вымирания, и что именно хотел бы ограничить. |
А мне не интересно его слушать, он предпринитатель, а не учёный. Как и Джобс или Цукерберг.
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42775 |
|
|
|
|
И вообще, странное поверие, что удачные бизнесмены понимают научные вопросы лучше, чем учёные или даже инженеры типа Возняка.
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42776 |
|
|
|
|
Quantrinas: strumball: | FIBM: скептицизм Кванта вполне обоснован. |
Скептицизм Кванта обоснован лишь его некомпетентностью в данной области и желанием оспорить (или выразить свое мнение) все, что за рамками его понимания. |
Вы дурак? |
Сколько раз, наверно, Квантринас во время научных дискуссий хотел задать оппоненту этот уточняющий вопрос. Но вынужден был сдерживаться и вежливо улыбаться. Вот почему ученые так ценят общение в интернете. |
|
|
| номер сообщения: 49-58-42777 |
|
|
|
|
Pirron:
Сколько раз, наверно, Квантринас во время научных дискуссий хотел задать оппоненту этот уточняющий вопрос. Но вынужден был сдерживаться и вежливо улыбаться. Вот почему ученые так ценят общение в интернете. |
Действительно. Оппонент почему-то думает, что дав понять, что он знает моё имя, он меня смутит. Но мне то смущаться нечего. Зато скрывая своё лицо, он позволяет рубить правду-матку. 
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42778 |
|
|
|
|
| Evgeny Gleizerov: Они не всегда были известны. Сначала учёные-ядерщики били тревогу, точно так же, как сейчас ИИ-специалисты. |
1. Если подойти более внимательно, то все опасности ядерных реакций (радиация, вызывающая болезни, которые мы не умеем лечить) стали известны практически сразу. Настолько сразу, что можно было качественно (и доступно) донести эти опасности до «обывателя». См.
фильм «9 дней одного года». Для профессионалов, разумеется, это стало понятным еще раньше. Знаете, трудно бывает не понять, если у «тебя над ухом щелчок за щелчком». Никто не говорил (точнее говорили, но маргиналы): «ЯР опасны, потому что мы еще мало знаем, наверное в будущем физики придумают еще какую-нибудь дрянь».
2. В случае с ИИ ситуация другая: в коллективном письме (в отличие от статьи Бенджио) никакой конкретики нет, а есть только предупреждение о возможной опасности. Что с моей точки зрения -ни о чем.
3. Что там будет дальше я не знаю, но в данный момент «разруха большая опасность идет не от ИИ, а от людей». |
|
|
| номер сообщения: 49-58-42780 |
|
|
|
|
Справедливости ради, "9 дней одного года" был снят в 1962 году.
Но проблема была ясна физикам и медикам гораздо раньше.
Вот когда её осознали власть имущие - это вопрос.
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42781 |
|
|
|
|
| Quantrinas: И вообще, странное поверие, что удачные бизнесмены понимают научные вопросы лучше, чем учёные или даже инженеры типа Возняка. |
Здесь как раз ничего удивительного. Появлению даже простейшего компа способствовали сотни ученых (инженеров), где уж «обывателю» их запомнить. Гораздо проще запомнить одну фамилию Гейтс или Джобс, но и это требует определённых усилий. Так что самое простое вообще без имен людей-гугол, Самсунг  |
|
|
| номер сообщения: 49-58-42782 |
|
|
|
|
Quantrinas: Зато есть, например..  |
не думаю, что несколько примкнувших селебретиз сразу обесценивают письмо, под которым подписаны ученые, лидеры индустрии, узкие спецы по теме итд.
| А вот это совсем не удивительно, потому что лишних соперников в "погоне за новыми благами" им не надо. Только они могут сделать всё безопасно и по сходной цене. |
официально принятая политика ограничений в этой области намного сильнее ударит по крупннейшим компаниям и лидерам индустрии (DeepMind, Open AI) чем по всяким "подпольным" игрокам с непрозрачным финансированием итп.
| FIBM: В случае с ИИ ситуация другая: в коллективном письме (в отличие от статьи Бенджио) никакой конкретики нет, а есть только предупреждение о возможной опасности. Что с моей точки зрения -ни о чем. |
не исключено, что когда конкретика станет очевидна будет слишком поздно. по моему, это тот случай, когда реально стоит прислушаться. не впадать в панику, а именно проявить здоровую острожность. |
|
|
| номер сообщения: 49-58-42783 |
|
|
|
|
К чему конкретно прислушаться?
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42784 |
|
|
|
|
| к месседжу, что есть потенциально большая, возможно экзистенциальная, опасность. |
|
|
| номер сообщения: 49-58-42785 |
|
|
|
|
| Cube2: к месседжу, что есть потенциально большая, возможно экзистенциальная, опасность. |
Ну ладно, прислушались.
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42786 |
|
|
|
|
Cube2:
| FIBM: В случае с ИИ ситуация другая: в коллективном письме (в отличие от статьи Бенджио) никакой конкретики нет, а есть только предупреждение о возможной опасности. Что с моей точки зрения -ни о чем. |
не исключено, что когда конкретика станет очевидна будет слишком поздно. по моему, это тот случай, когда реально стоит прислушаться. не впадать в панику, а именно проявить здоровую острожность. |
Извините, но это просто «набор слов».
1. Где-то впереди маячит опасность от ИИ, какая опасность-не знаю, но должен проявить осторожность. Как мне эту осторожность проявить также не знаю.
2. У меня сложилось впечатление, что большинство рассматривает «подписантов» как имеющих единое мнение по вопросу опасностей ИИ. Скорее всего это просто неверно. |
|
|
| номер сообщения: 49-58-42787 |
|
|
|
|
проявить осторожность обществу в целом. я вроде не призывал конкретно форумчан ФИБМА и Кванта лично проявлять осторожность.
отдельный человек может попытаться составить мнение по вопросу, в зависимости от своих знаний и желания потратить времени на изучение. как и по любому другому актуальному вопросу (климат, ковидные меры, война одной страны с другой итд). когда вопрос перейдет в политическое поле, как например climate change стал повесткой ряда партий в Европе, у вас будет возможность повлиять своим голосом. |
|
|
| номер сообщения: 49-58-42788 |
|
|
|
|
| FIBM: 2. У меня сложилось впечатление, что большинство рассматривает «подписантов» как имеющих единое мнение по вопросу опасностей ИИ. Скорее всего это просто неверно. |
Ну конечно же, неверно. Именно поэтому письмо такое короткое. Серьёзные люди, не балаболы отвечают за свои слова, а согласны они только в том, что ИИ-исследования представляют большую опасность и требуют огромной осторожности. По конкретным же вопросам (какого именно рода эта опасность) они, очевидно, расходятся.
Я уже давал ссылку на более конкретизированное мартовское письмо. Вероятно, этот "узкий консенсус" разделяют не все подписанты второго. Единственная цель второго заявления - продемонстрировать максимально широкий консенсус по самому практически важному вопросу. Это заявление сугубо политическое, а не какое иное. |
|
|
| номер сообщения: 49-58-42789 |
|
|
|
|
| Evgeny Gleizerov: Серьёзные люди, не балаболы отвечают за свои слова, а согласны они только в том, что ИИ-исследования представляют большую опасность и требуют огромной осторожности. По конкретным же вопросам (какого именно рода эта опасность) они, очевидно, расходятся. |
Итак, подведём итог. Серьёзные люди, отвечающие за свои слова, считают, что ИИ-исследования представляют большую опасность неизвестно какого рода. Но речь идёт о риске не чего-нибудь, а вымирания!
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42790 |
|
|
|
|
| Cube2: проявить осторожность обществу в целом. . |
1. Я, вроде бы, о проблемах «общества» не рассуждал. И довольно скептически к таким рассуждениям отношусь. А вот свое отношение к конкретным письмам (статьям) на тему опасностей ИИ действительно высказывал. И для меня разница между статьей Бенджио и заявлением подписантов не менее очевидна чем разница между «пониманием защиты Каро-Кан» и «я буду играть защиту Каро-Кан, вы только мне не мешайте»  |
|
|
| номер сообщения: 49-58-42791 |
|
|
|
|
| Ещё раз: это тексты, имеющие совершенно разные цель и адрес. Подпись Бенжио, кстати, под "22 словами" стоит второй. То есть сам он не видит тут никакого противоречия. |
|
|
| номер сообщения: 49-58-42792 |
|
|
|
|
Evgeny Gleizerov:
Я уже давал ссылку на более конкретизированное мартовское письмо. |
Да, к этому письму нужно относиться более серьезно. Там есть ссылки (особенно 1) , где достаточно подробно описаны проблемы с моделями и машинным обучением. Если коротко то серьезных проблем две:
-в тренировочном сете данных заложена «нехорошая» направленность нашего общества. Естественно эта «нехорошесть» будет воспроизводиться и в новых данных нашим железным другом.
-некритическое (принятие на веру) использование людьми результатов, полученных нашим железным другом после интенсивной тренировки.
Это в общих чертах совпадает с популярной статьей Бенджио.
Честно говоря я не очень понимаю как эти реальные опасности можно снизить простым запретом на исследования (даже на жалкие 6 месяцев). |
|
|
| номер сообщения: 49-58-42793 |
|
|
|
|
меня лично настораживает, что это уже второе подобное письмо (или не письмо, назовём это alert statement) за 2 с небольшим месяца. мне неудобно от слухов, что было обнаружено что-то, что не было опубликовано в GPT-4 System Card, что сильно их всех "там наверху" испугало. да даже если почитать, что да было опубликовано в документе - ок, меня совсем не напрягают всякие там расистские темы или то, что оно может помочь совершить преступление, но меня очень напрягает его способность врать.
плюс есть серьезные вопросы к внедренному RLHF, а конкретно эта тема с low-stakes alignment. это небозопасно, не-понятно-насколько-контролируемо и имеет потенциал экспоненциального прогресса. |
|
|
| номер сообщения: 49-58-42794 |
|
|
|
|
А вот этот GPT-4 System Card мне нравится. На первый взгляд. Написан в LaTeX, 104 ссылки, приложения с кодом.
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42795 |
|
|
|
|
Cube2: но меня очень напрягает его способность врать.
|
Интересно, почему «вранье» нашего железного друга вас так напрягает, хотя его решения вы можете просто игнорировать, а к «вранью» каждого второго (первого) СМИ (без которых обойтись мы никак не можем) вы относитесь снисходительно? |
|
|
| номер сообщения: 49-58-42796 |
|
|
|
|
| В недалёкой перспективе "железный друг" может стать идеальным, необоримым манипулятором, причём подстраиваемым под индивидуальный объект манипулирования. И тогда его решения игнорировать не получится. Это не я выдумал. |
|
|
| номер сообщения: 49-58-42797 |
|
|
|
|
Откуда логично следует, что выдумал кто-то другой.
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42798 |
|
|
|
|
| Evgeny Gleizerov: В недалёкой перспективе "железный друг" может стать идеальным, необоримым манипулятором, причём подстраиваемым под индивидуальный объект манипулирования. И тогда его решения игнорировать не получится. Это не я выдумал. |
Не думаю, что это реально. Причина довольно проста: тренировка идет на огромной выборке разнонаправленных индивидуальностей. Если коротко, то в тренировке участвуют и профессор МГУ и немецкий бюргер из деревни, где два дома. И, если из решения предложенного ИИ профессору будут «торчать уши» бюргера, и наоборот, то манипулирования не получится. |
|
|
| номер сообщения: 49-58-42799 |
|
|
|
|
FIBM: Cube2: но меня очень напрягает его способность врать.
|
Интересно, почему «вранье» нашего железного друга вас так напрягает, хотя его решения вы можете просто игнорировать, а к «вранью» каждого второго (первого) СМИ (без которых обойтись мы никак не можем) вы относитесь снисходительно? |
СМИ не способны подстраивать враньё лично под меня, они по определению массовые. Железный друг способен быть куда более эффективным. Или не просто может, а уже. |
|
|
| номер сообщения: 49-58-42800 |
|
|
|
|
Приведите же пример, как "железный друг" сейчас обманывает.
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42801 |
|
|
|
|
FIBM: | Evgeny Gleizerov: В недалёкой перспективе "железный друг" может стать идеальным, необоримым манипулятором, причём подстраиваемым под индивидуальный объект манипулирования. И тогда его решения игнорировать не получится. Это не я выдумал. |
Не думаю, что это реально. Причина довольно проста: тренировка идет на огромной выборке разнонаправленных индивидуальностей. Если коротко, то в тренировке участвуют и профессор МГУ и немецкий бюргер из деревни, где два дома. И, если из решения предложенного ИИ профессору будут «торчать уши» бюргера, и наоборот, то манипулирования не получится. |
Как архивирование речи алгоритмами типа LPC работает представляете? Медленно изменяющаяся модель (фильтр) через которую пропускается быстро меняющийся, но грубый excitation.
Тут та же идея. Натренированая на массах бюргеров, профессоров и бомжей способность убедительно, типа, рассуждать является фильтром, через который пропускают ваши индивидуальные заморочки. Которые гуглу или эпплу известны никак не хуже, чем вам самим.
Причем вполне себе обезличенному гуглу или эпплу, ихней машине, а не совету директоров или группе программистов. И это машина может "думать", что она манипулирует вами (мной), так, как её просил совет директоров или программисты, но на самом деле она их неверно поняла. И в виду неподъёмной сложности всего процесса никто не может проверить, правильно ли она поняла. Првда, я не уверен, что последнее плохо. Может это как раз хорошо. |
|
|
| номер сообщения: 49-58-42802 |
|
|
| |
|
|
|
|
|
|
|
| Copyright chesspro.ru 2004-2024 гг. |
|
|
|
