Профессор включил режим бота. Причем если у ИИ на выходе непредсказуемый результат, то у товарища вполне. Мне кажется, он не только тест Тьюринга не пройдет, но и из 3 сосен логики не выберется самостоятельно. Может спросить, а через минуту признаться, что это не интересно, и вообще, если что- ему позвонят знакомые. Ну или он утром в сайнс прочитает. Но при этом на шахматном форуме спрашивает. Гений
Только сейчас я понял, что Чич со своим заклинанием пародировал лаконизм и афористичность высказываний Квантринаса. Но, возможно, Чич и сам этого не понимал.
Roger: Во-первых, для бомбёжки никакое осознание не нужно - если человек в какой-то ситуации рационально выбирает бомбёжку, то и машина, которую этот человек запрограммировал для рационального анализа и решения своих задач, тоже может выбрать бомбёжку.
это понятно, бомбежка может быть рациональным выбором. но как бы отдавать решения о бомбежке машинам довольно странно
Во-вторых, не испытывающий чувств и не имеющих инстинктов AI может имитировать основные чувства и инстинкты, в частности инстинкт самосохранения.
для этого требуется кто-то, кто _заставит_ его это делать с какой-то целью. поетому от описанного кошмара есть простое спасение: не надо отдавать решения о бомбежке роботу, которого заставили играть в человека.
и это не имеет никакого отношения к "чувствам" аи.
Разве корень проблемы не в интерфейсе, предоставляющем ИИ ту или иную степень свободы?
То есть не в БЧИ(Безответственном Человеческом Интеллекте) или в ОАИ(Ослепленном Алчностью Интеллекте)?
Какой бы мощной прошивкой не обеспечили мозг механического пресса, покп ему не приделали колесиков, ездить по улицам и давить женщин или кур он будет не в состоянии.
Quantrinas: По моим сведениям, всё это пока вполне под контролем и не очень даже и интересно. Самый лучший известный нам интеллект это наш собственный.
Quantrinas: По моим сведениям, всё это пока вполне под контролем и не очень даже и интересно. Самый лучший известный нам интеллект это наш собственный.
BillyBones: Разве корень проблемы не в интерфейсе, предоставляющем ИИ ту или иную степень свободы?
То есть не в БЧИ(Безответственном Человеческом Интеллекте) или в ОАИ(Ослепленном Алчностью Интеллекте)?
Разумеется, именно в этом. О том и говорят алармисты, требуя поставить исследования в области ИИ под такой же контроль, как в области оружия массового уничтожения. Абсолютно никто не призывает их вообще запретить, ибо прогресс, разумеется, не остановишь, вода дырочку найдёт. Что ещё важнее, от развития ИИ людям может быть и огромная польза - аналогично атомной энергетике, например.
saluki: для этого требуется кто-то, кто _заставит_ его это делать с какой-то целью. поетому от описанного кошмара есть простое спасение: не надо отдавать решения о бомбежке роботу, которого заставили играть в человека.
Решения ИИ, разумеется, никто не отдаст, но через обработку и подачу информации нужное решение можно спровоцировать. О том, что манипулировать людьми можно даже на нынешнем уровне эволюции ИИ, не говорит только ленивый.
Evgeny Gleizerov: О том и говорят алармисты, требуя поставить исследования в области ИИ под такой же контроль, как в области оружия массового уничтожения.
1. Разницы между исследованиями в области ИИ и в области ОМУ намного больше чем сходства. Так что и методы "борьбы" должны сильно различаться.
2. Проблема в действиях "алармистов" всегда одна и та же. Требования есть, а как реализовать эти требования-"это не наше дело" или предлагается такая реализация, что всем мало не покажется. Так что в отношении таких "алармистов" я в чем то солидарен (как это не удивительно) с Квантом.
Это совершенно не тот случай, поскольку тут алармистами являются специалисты, а не фрики (кстати, точно так же, как в случае с ядерными исследованиями). Ну вот конкретное предложение специалиста с мировым именем.
Evgeny Gleizerov: Это совершенно не тот случай, поскольку тут алармистами являются специалисты, а не фрики (кстати, точно так же, как в случае с ядерными исследованиями). Ну вот конкретное предложение специалиста с мировым именем.
1. Я не утверждал такую нелепость, что "алармист" должен быть обязательно фриком.
2. Yoshua Bengio определенно один из крупнейших специалистов в "машинном обучении", поэтому к его анализу проблем/решений нужно отнестись серьезно. Тем более, что никакой ерунды о "черном ящике" он не пишет.
3. Думаю, что здесь прежде всего путаница в терминологии. Я бы серьезных специалистов не стал бы называть такой "похабной" кличкой как алармист. Оставим эту "кличку" фрикам.
In this post however, I would like to share my thoughts regarding the more hotly debated question of long-term risks associated with AI systems which do not yet exist, where one imagines the possibility of AI systems behaving in a way that is dangerously misaligned with human rights or even loss of control of AI systems that could become threats to humanity.
__________________________
Audiatur et altera pars
FIBM: 2. Yoshua Bengio определенно один из крупнейших специалистов в "машинном обучении", поэтому к его анализу проблем/решений нужно отнестись серьезно. Тем более, что никакой ерунды о "черном ящике" он не пишет.
Я-то не специалист, поэтому, наверное, выразился неудачно. Но про то, что я имел в виду под "чёрным ящиком", у Бенжио есть:
We can also train RL agents that act according to given goals. We can use natural language (with modern LLMs) to state those goals, but there is no guarantee that they understand those goals the way we do. In order to achieve a given goal (e.g., “cure cancer”), such agents may make up subgoals (“disrupt the molecular pathway exploited by cancer cells to evade the immune system”) and the field of hierarchical RL is all about how to discover subgoal hierarchies. It may be difficult to foresee what these subgoals will be in the future, and in fact we can expect emerging subgoals to avoid being turned off (and using deception for that purpose).
It is thus very difficult to guarantee that such AI agents won’t pick subgoals that are misaligned with human objectives (we may have not foreseen the possibility that the same pathway prevents proper human reproduction and the cancer cure endangers the human species, where the AI may interpret the notion of harm in ways different from us).
Ну как бы ни для кого не секрет, что весьма сложный и совершенный человеческий мозг - может для его создателя тоже какой-нибудь ИИ, не может гарантировать строгого соблюдения целей. Но зато может то, с чем алгоритм не справляется. При создании ИИ на выходе есть большая вероятность получить и плюсы и минусы. Впрочем, об этом писали (более общо конечно) со времён Кларка и Стругацких. Элементы специальной терминологии ничего тут не меняют.
__________________________
Audiatur et altera pars
FIBM: 2. Yoshua Bengio определенно один из крупнейших специалистов в "машинном обучении", поэтому к его анализу проблем/решений нужно отнестись серьезно. Тем более, что никакой ерунды о "черном ящике" он не пишет.
Я-то не специалист, поэтому, наверное, выразился неудачно. Но про то, что я имел в виду под "чёрным ящиком", у Бенжио есть:
We can also train RL agents that act according to given goals. We can use natural language (with modern LLMs) to state those goals, but there is no guarantee that they understand those goals the way we do. In order to achieve a given goal (e.g., “cure cancer”), such agents may make up subgoals (“disrupt the molecular pathway exploited by cancer cells to evade the immune system”) and the field of hierarchical RL is all about how to discover subgoal hierarchies. It may be difficult to foresee what these subgoals will be in the future, and in fact we can expect emerging subgoals to avoid being turned off (and using deception for that purpose).
It is thus very difficult to guarantee that such AI agents won’t pick subgoals that are misaligned with human objectives (we may have not foreseen the possibility that the same pathway prevents proper human reproduction and the cancer cure endangers the human species, where the AI may interpret the notion of harm in ways different from us).
Это другое. Грубо говоря АИ можно использовать двумя способами: распознавание скрытых закономерностей в беспорядоченной (на взгляд человека) огромной базе данных. Такое АИ также "черный ящик", но никаких серьезных недостатков у такого АИ (типа стока или А0) я не вижу.
А вот АИ, которое "мы" хотим использовать в качестве "волшебной палочки" как в примере "cure cancer", то там опасностей выше крыши. Но это, в основном, повторение хорошо известной истории "Мидаса".
BillyBones: Какой бы мощной прошивкой не обеспечили мозг механического пресса, покп ему не приделали колесиков, ездить по улицам и давить женщин или кур он будет не в состоянии.
Если тема ИИ более или менее исчерпана, можно коснуться и поднятой Кирсаном Николаевичем темы контактов с инопланетянами. Может, и среди нас есть люди, которые с ними контактировали, но стесняются об этом рассказать? Так тут все свои, чего тут стесняться. Интересней всего, конечно, было бы послушать самих инопланетян, но вероятность того, что они здесь виртуально присутствуют, все-таки крайне невелика. Что вообще побуждает Кирсана Николаевича рассказывать эту историю про инопланетян? Вроде, он не похож на человека, страдающего галлюцинациями. Или все-таки похож? Или это какая-нибудь наркота на него с непривычки когда-то так подействовала? Или он и вправду с кем-то встречался? Вот в чем вопрос.
Pirron: Интересней всего, конечно, было бы послушать самих инопланетян, но вероятность того, что они здесь виртуально присутствуют, все-таки крайне невелика.
Ну почему. Комсюк недавно сделал ряд наблюдений по составу активных участников форума.
Pirron: Интересней всего, конечно, было бы послушать самих инопланетян, но вероятность того, что они здесь виртуально присутствуют, все-таки крайне невелика.
Ну почему. Комсюк недавно сделал ряд наблюдений по составу активных участников форума.
Вы намекаете, Женя, что евреи, с точки зрения уважаемого Комсюка, прилетели к нам с другой планеты? Вообще в этой гипотезе есть некоторая доля правдоподобия. Но Комсюк говорит и о простых эмигрантах вроде меня. А у меня одного деда звали просто Васей, другого - просто Петей. Тот, которого звали Васей, и родился в селе на Рязанщине. Правда, тот, которого звали Петей, родился в Москве но даже титулом дворянским не обладал, не то что не был евреем. Вряд ли Комсюк имел в виду, что люди вроде меня - это гости из другой галактики. Скорее всего, он все-таки говорил не про инопланетян.
Quantrinas: Имя Пётр ничего не доказывает, может оказаться и Симоном.
Не знаю, я с ним не встречался, он умер до моего рождения. Но, судя по его фотографии, он все-таки не был Симоном. Хотя чем черт не шутит... да нет, не похож. Лицо явно намекает на сугубо славянское происхождение. Ну, может, с примесью чего-то татарского.
