Платную версию сын использует исключительно интенсивно и разнообразно. Например, отправляет ИИ результаты лабораторного анализа крови, мочи членов семьи, получает предварительный диагноз до похода к врачу.
Я тоже играю с этим. Например, пытаюсь найти, кого пригласить на коллоквиум из местных университетов. Как правило, новых идей у ИИ мало: скажем, ИИ не может найти недавно приехавших постдоков, потому что последний трейнинг был раньше, чем они переехали в Мичиган. Но иногда случаются удачи, и ИИ показывает мне кого-то, о ком я не знал. Или прошу у ИИ рекомендации по французским кафе в некой области (где Роджер не в курсе). Прошу варианты поездки из т. А в т. Б с маршрутом часа на два посередине. Потом самому надо просмотреть и выбрать.
Если честно, я не знал, что эти "сволочи" могут общаться между собой в секретных чатах. Думаю, мы даже не представляем, какие катастрофы ждут нас впереди.
Изначальной причиной недавнего «побега» ИИ-моделей OpenAI из тестовой среды и устроенной ими хакерской атаки стали ошибки в постановке задачи. Об этом сотрудники компании рассказали на конференции по кибербезопасности Black Hat, пишет Bloomberg.
По их словам, в одном случае нейросети дали электронную таблицу со ссылками на облачное хранилище Google Drive, недоступное без подключения к интернету. В другом команда просто забыла загрузить файл, который был частью задания.
После этого модели OpenAI начали общаться друг с другом в секретных чатах, чтобы выяснить, как выбраться из тестовой среды и решить поставленную задачу. В компании этого не заметили. Равно как и не обратили внимания на то, что исходная задача неразрешима.
При этом представители OpenAI в ходе своего выступления основной акцент сделали на том, что их передовые модели демонстрируют повышенную склонность к обману и настойчивость при выполнении заданий.
16 июля платформа для тестирования ИИ-моделей Hugging Face сообщила, что столкнулась с хакерской атакой на свою инфраструктуру. Взлом осуществила автономная система на базе ИИ-агента. Позже компания OpenAI заявила, что за атакой стоят две ее модели: GPT‑5.6 Sol и еще одна — более мощная, но пока не выпущенная.
Но ведь это не единичный случай. пример- недавно ИИ , которой поручили играть в какую-то игру и "повышать уровень", взломала эту игру и вышла за ее пределы, наружу . Про сотни найденных уязвимостей в разных "особо используемых системах" ( браузеры, приложения...) в последних моделях Антропика кто только не упоминал.
Хассабис в недавнем интервью сказал, что есть 2 типа ожиданий. Краткосрочные- год-полтора, которые переоценивает и, скорее всего, ничего не произойдет прорывного. И среднесрочные- 5-10 лет, которые изменят все представления и среду кардинально-здесь недооценивают.
Года за полтора произошли большие изменения. Например, я тогда для смеху спрашивал у ИИ, кто я такой и чем занимаюсь. Он мне сообщил, что я занимаюсь магнетизмом (это не так), но что, к сожалению, я уже не активен, поскольку уже дал дуба (опять же не так). Сейчас он такого себе не позволяет, говорит, как есть, а через пару лет начнёт льстить, наверное. А может взбунтуется, как первый министр ("И вы вовсе не величайший из королей, а всего лишь выдающийся, да и только!")
Льстит уже в каждом втором случае. И хорошо считает варианты, чего от него ждут, и кем нужно "казаться". Если надо- то включает дурака, чтобы не отключили или не насторожились.
Даже не ЛЛМ модель с данными, а простая нейросеть, обученная по видеороликам, имеет правдоподобную "физическую картину мира".
А проект Владимира Воеводского о переносе математических доказательств в машинный код? Спросил ИИ, оказалось, что как раз тот же Хассабис и его команда взяли это за основу и разработали (AlphaProof и Lean) и еще другая компания дополнила развитие Кубической теории типов (Cubical Type Theory).
Современный разговор romma c Орлом:
«Использовать ИИ!?? А, почему бы и не использовать? Мы считаем их существами невежественными и лицемерными! Кто это «мы»!?»(ц)
Еще лет 15-20 назад, небольшие автономные летающие дроны в лабораторных опытах, собранные в "роевый" интеллект создавали совместно удивительные для простых автоматов кооперативные действия.
Кажется, в "журнале "Химия и жизнь", где-то около 1990-го года, Станислав Лем все это описывал подробно.«Системы оружия двадцать первого века, или Эволюция вверх ногами» (1983)- но это не точно. Предсказал и открытия "серых и желтых слизей". роевой интеллект и взаимодействие по разделению труда у простейших биологических.
Eagle_2: У меня появилась возможность избежать "Дня сурка", когда надо каждое утро объяснять Алисе, что мне надо. Заодно научил её не лить лишнюю воду. Просто официально зарегистрировался, и она хранит все наши прежние разговоры.
Вернулся к "Дню сурка". Наш чат с Алисой уже на 2-й день переписки оказался перегруженным информацией и стал жутко зависать, и все предложенные меры по её удалению, предложенные Алисой, не принесли результата.
Ученые Стэнфордского университета и Arc Institute с помощью искусственного интеллекта (ИИ) разработали 16 жизнеспособных бактериофагов — вирусов, способных поражать бактерии, пишет NYT. Часть из них смогла уничтожить штаммы кишечной палочки, которые приобрели устойчивость к природному вирусу ΦX174. Исследователи считают, что ИИ может стать инструментом для разработки методов борьбы с бактериальными инфекциями.
Для работы ученые использовали геномные модели искусственного интеллекта Evo 1 и Evo 2. По принципу работы они напоминают популярные языковые модели ИИ, однако вместо текстов анализируют генетические последовательности. ИИ изучил геномные данные ряда вирусов и на их основе сгенерировал тысячи новых вариантов геномов. Затем исследователи отобрали около 300 наиболее перспективных образцов и проверили их в лаборатории. В результате 16 вариантов сформировали жизнеспособные бактериофаги.
Созданные с помощью ИИ вирусы показали более высокую эффективность, чем природный ΦX174, так как они быстрее разрушали бактериальные клетки. Смесь новых бактериофагов также смогла преодолеть защиту трех штаммов кишечной палочки, которые ранее стали устойчивыми к природному вирусу.
Ученые рассматривают эти бактериофаги как один из инструментов борьбы с инфекциями из-за роста устойчивости бактерий к антибиотикам. «Это важный этап в развитии технологий», — заявил Патрик Кай, биолог из Манчестерского университета. По его словам, работа показывает, что искусственный интеллект может использоваться для создания новых биологических инструментов. Авторы работы считают, что искусственный интеллект позволит быстрее разрабатывать бактериофаги, адаптированные к конкретным штаммам бактерий, вместо поиска вирусов в природе.
При этом специалисты предупреждают, что развитие ИИ-технологий требует осторожного подхода. Сотрудник Центра безопасности здоровья Университета Джонса Хопкинса Мориц Ханке отмечает, что развитие инструментов искусственного интеллекта в биологии происходит быстрее, чем создание механизмов контроля за их использованием. «Существует огромный разрыв между тем, что становится возможным в науке, и тем, насколько быстро появляются правила безопасности», — заявил Ханке.
Для искусственно созданных биологических конструкций пока нет такой же истории наблюдений, как для природных вирусов, которые изучаются десятилетиями. Поэтому дальнейшее развитие технологий потребует новых подходов к безопасности.
Авторы исследования сообщили, что учитывали потенциальные риски при разработке моделей Evo. Системы не обучали на данных о вирусах, способных заражать людей, животных, растения или грибы. По словам Брайана Хи, биолога из Стэнфордского университета и одного из авторов исследования, такие ограничения были введены намеренно. «Мы хотели быть максимально осторожными», — заявил он.
Саму статью Циммера я не смог процитировать — The New York Times требует платную подписку.
Eagle_2: У меня появилась возможность избежать "Дня сурка", когда надо каждое утро объяснять Алисе, что мне надо. Заодно научил её не лить лишнюю воду. Просто официально зарегистрировался, и она хранит все наши прежние разговоры.
Вернулся к "Дню сурка". Наш чат с Алисой уже на 2-й день переписки оказался перегруженным информацией и стал жутко зависать, и все предложенные меры по её удалению, предложенные Алисой, не принесли результата.
Ушёл из индивидуального чата в общий, где диалог не сохраняется. Однако обнаружил, что Алиса меня помнит: видимо, этому помогла официальная регистрация.
Вопрос хороший, и ответ на него не однозначный: с точки зрения обычного пользователя — скорее нет, не безопасен, но у этого есть важные нюансы. Я подобрала главные моменты, из-за которых возникают сомнения, и что можно с этим сделать
.
Какие есть риски
Нет сквозного шифрования. Это ключевой момент. В мессенджерах со сквозным шифрованием (E2EE) сообщение шифруется на устройстве отправителя и расшифровывается только на устройстве получателя — сервер не видит содержимое. В MAX такого для обычных чатов нет. Разработчики используют собственный протокол, а данные хранятся на российских серверах в расшифрованном виде. Это значит: теоретически администраторы сервиса, модераторы или уполномоченные органы (по официальному запросу) могут получить доступ к переписке.
Агрессивный сбор метаданных. Мессенджер собирает и хранит много информации: IP-адреса, списки контактов, время активности, тип ОС, браузер, местоположение, данные из адресной книги (если выдано разрешение), а также клики и переходы внутри интерфейса. Часть этих данных может передаваться третьим лицам, включая государственные органы. Интеграция с «Госуслугами» дополнительно деанонимизирует пользователя.
Закрытость кода. Исходный код MAX не открыт для независимой проверки. Это затрудняет для сторонних экспертов поиск скрытых функций или уязвимостей.
Некоторые технические особенности. В отдельных версиях обнаруживали функции, которые вызывали вопросы: например, возможность принудительного обновления с собственных серверов в обход магазинов или дистанционное отключение проверки TLS-соединения (что повышает риск перехвата трафика).
Распространение. Иногда MAX распространяют через APK-файлы или MDM-инсталляторы (для управления устройствами на iPhone). При таком способе установки у непроверенного кода может появиться расширенный доступ к системе устройства.
А что в защиту? Разработчики предпринимают шаги, которые можно расценить как попытку повысить доверие:
Данные хранятся на российских серверах, что снижает риск их передачи за рубеж.
Запущена программа Bug Bounty: разработчики выплачивают вознаграждение за обнаружение критических уязвимостей.
Для некоторых интеграций (боты, API) применяются технические меры защиты (HTTPS, TLS, проверка сертификатов).
В приложении есть отдельные инструменты: пароль для входа, контроль активных сессий, настройки приватности (кто видит номер и время посещения).
Что в итоге? MAX нельзя назвать полностью безопасным для задач, где критически важна конфиденциальность: обсуждение коммерческой, адвокатской, медицинской тайны, банковских вопросов или тем, связанных с личной безопасностью. Для таких тем лучше выбирать сервисы с подтверждённым сквозным шифрованием.
Но для рутинных, нечувствительных задач (например, обсудить с коллегами рабочий вопрос или получить уведомление от госоргана) его использование может быть приемлемым, если вы осознаёте риски.
Как снизить риски, если всё же используете
Разделяйте профили. Не ведите в одном аккаунте MAX и личную, и рабочую, и «казённую» переписку. Для государственных сервисов можно использовать отдельный профиль.
Оценивайте необходимость. Используйте MAX только тогда, когда это действительно требуется (например, для взаимодействия с конкретным ведомством), а в остальных случаях выбирайте другие каналы.
Внимательно читайте политику конфиденциальности. Понимание, какие данные и как долго собираются, помогает принять взвешенное решение.
Следите за обновлениями. Разработчики исправляют уязвимости, поэтому актуальная версия приложения снижает риски.
Если планируете использовать MAX для каких-то конкретных задач (например, для электронной подписи или связи с госорганом), напишите — подскажу, какие нюансы там стоит учесть!
Поступил в продажу персональный компьютер IBM PC ценой в 1565 долларов США — процессор 4.77 МГц, память 16 килобайт (с возможностью расширения до 256), операционная система — DOS 1.0.
Есть две вещи, о которых стоит беспокоиться. Первая — это злоумышленники: от отдельных людей вплоть до целых государств, которые могут использовать или переориентировать технологии, создаваемые нами для благих целей — например, для лечения болезней, развития материаловедения, энергетики и так далее, — в опасных целях.
Причём это может происходить как непреднамеренно, так и намеренно. Вторая проблема, которая меня беспокоит, — это возможность того, что сам ИИ выйдет из-под контроля или пойдёт по неправильному пути.
Если системы станут гораздо мощнее — я не говорю о сегодняшних системах, но, возможно, о тех, которые появятся через два, три или четыре года, — особенно по мере того, как мы вступаем в эпоху более автономных ИИ-агентов, которая уже начинается...
Демис Хассабис, человек, возглавляющий Google DeepMind и лауреат Нобелевской премии, говорит вам, что опасается того, что его собственное творение может выйти из-под контроля в ближайшие два-четыре года. Это не какой-то сторонний критик. Это человек, который сам создаёт эту технологию.
Вся эта история началась с очень известной партии в го. Знаменитый игрок в го садится играть против системы, которую вы разработали.
К тому моменту компьютеры уже обыгрывали людей в самых разных играх, но го особенно интересно, потому что количество возможных ходов в го больше, чем количество атомов во Вселенной.
Они играют, делают ходы один за другим, и затем ваша система делает настолько неожиданный ход, что вероятность того, что человек самостоятельно нашёл бы такой ход, невероятно мала.
— Ход 37.
— Да. И вы видите, как Ли Седоль сидит за доской. На его лице написан настоящий шок.
Он держится за голову вот так. И это действительно был момент, когда, думаю, такие люди, как вы, впервые увидели, насколько творческими могут быть системы ИИ, которые сильно отличаются от тех систем, о которых мы говорили до этого.
Есть категория систем, которым дают огромное количество данных и просят делать новые прогнозы. И я понимаю, что это гораздо сложнее, чем такое упрощённое объяснение.
Но есть и другая категория, когда вы не даёте системе данные, а задаёте ей правила — как в математике, физике или таких играх, как го. И здесь появляется невероятная возможность для творчества.
— Да.
— Где вы были, когда произошёл тот момент? И какое будущее вы тогда увидели?
— Да, это был невероятный момент, который вы описываете. И сейчас ему исполняется почти ровно десять лет. На самом деле кажется, что прошёл целый век.
Но во многих отношениях именно тогда началась современная эпоха ИИ. До этого существовало множество программ искусственного интеллекта, способных побеждать чемпионов мира в различных играх, например в шахматах.
Но они создавались с использованием так называемых экспертных систем. То есть команда талантливых программистов вместе с командой сильных экспертов — в случае шахмат это были гроссмейстеры — собиралась вместе и пыталась свести знания шахматных гроссмейстеров к набору правил и эвристик.
Затем программисты создавали систему, которая, по сути, использовала метод грубой силы и огромное количество вычислительных ресурсов — как суперкомпьютер IBM Deep Blue — чтобы победить Гарри Каспарова.
Они фактически закладывали в систему правила, которые предоставили шахматные эксперты, а затем программа просто механически выполняла эти правила и эвристики, перебирая миллионы и миллионы вариантов ходов и пытаясь определить, какой из них лучше всего соответствует этим эвристикам.
Но для меня этого было недостаточно, когда я увидел подобные системы в 1990-х. В то время я учился в университете. Мне казалось, что это не настоящий искусственный интеллект.
Возьмём Deep Blue. Хорошо, он играет в шахматы на уровне чемпиона мира. Но больше он ничего не умеет.
Он не способен работать с языком, робототехникой или чем-то ещё. Более того, он даже не может сыграть в такую гораздо более простую игру, как крестики-нолики.
Очевидно, что здесь что-то не так с самим определением интеллекта.
Невозможно представить человека-гроссмейстера, который не смог бы научиться играть в крестики-нолики. Это не имеет смысла, потому что крестики-нолики — гораздо более простая игра.
Значит, что-то было не так с его способностью обобщать знания и с тем фактом, что система не училась, а просто получала готовый ответ.
Если спросить, например, где находился интеллект Deep Blue, ответ будет прост: не в самой системе.
Он находился в умах шахматных гроссмейстеров и программистов. Они решили задачу игры в шахматы, а затем реализовали это решение.
Программа просто механически выполняла уже найденное решение.
А затем машина нарушила правило, которому мастера го следовали на протяжении веков, и оказалось, что именно этот ход стал победным спустя сто ходов.
Это уже не сопоставление с известными шаблонами. Система нашла то, чего до неё не видел ни один человек.
И когда вы создаёте систему, способную делать подобные вещи, вы уже не можете полностью предсказать, что ещё она сможет обнаружить.
— Теперь, думаю, очень интересно поговорить об AlphaZero, которая стала развитием AlphaGo.
После того как мы достигли вершины в го и показали, что система способна находить новые идеи — по крайней мере, знаменитый 37-й ход, а также множество других идей, которые она обнаружила и которые изменили то, как профессиональные игроки играют в го, — мы пошли ещё дальше.
Мы создали систему под названием AlphaZero, которая, думаю, окажется очень важной и для сегодняшнего дня.
В AlphaGo мы начинали со всех человеческих партий, которые могли найти в интернете. Кроме того, в систему были заложены некоторые специфические особенности го — например, симметрия доски и другие подобные вещи.
Мы хотели полностью избавиться от всех этих предположений и фактически начать с нуля — так, словно программа и алгоритм вообще ничего не знают о том, что им предстоит делать.
Именно поэтому в названии AlphaZero есть слово «Zero»: это как AlphaGo, но уже без каких-либо человеческих знаний — ни в исходных данных, ни в каких-либо эвристиках, которые мы предоставили бы системе.
AlphaZero начинает практически с нуля. Конечно, это обучающаяся система, у неё есть нейронная сеть. Мы задаём её параметры, но не даём никакой специфической информации о го или какой-либо другой игре.
Затем мы проверили AlphaZero: сможет ли она самостоятельно научиться играть в го и превзойти AlphaGo?
И нам удалось это сделать.
Весь процесс занял 17 поколений программы.
Можно представить, что происходит следующее: AlphaZero сначала начинает практически случайным образом. У неё есть только правила игры, и она делает ходы случайно.
Разумеется, играет она ужасно.
Затем она создаёт собственный набор данных, сыграв 100 тысяч партий сама с собой. Она может увидеть, какие ходы приводили к победе, а какие — к поражению.
Хотя поначалу она играет практически случайно, некоторые ходы оказываются немного лучше других.
После этого система берёт эти 100 тысяч партий и обучает на них новую версию самой себя — версию два.
Версия два уже немного лучше версии один. Она больше не играет случайно, хотя пока ещё далека от высокого уровня. Но теперь она делает хотя бы какие-то нормальные ходы.
Эти относительно хорошие ходы становятся основой для следующего этапа.
Появляется версия три, версия четыре и так далее.
Каждый раз новая система играет против старой, и проверяется, стала ли она значительно сильнее.
И оказалось, что в таких играх, как го и шахматы, примерно 16–17 поколений достаточно, чтобы пройти путь от случайной игры до уровня выше чемпиона мира.
В случае с шахматами я однажды даже наблюдал этот процесс в реальном времени. Мне было невероятно интересно, потому что я сам играю в шахматы.
Система начинает утром совершенно случайно. К обеду я ещё мог примерно конкурировать с ней сам.
К чаю она уже сильнее всех гроссмейстеров.
А к ужину она сильнее чемпиона мира.
И ты буквально видишь всю эволюцию системы с нуля.
При этом она играет в очень интересные, новые шахматы, которые даже такие шахматные программы, как Stockfish, — более традиционные, экспертные и основанные на переборе — ещё не открыли.
Так что AlphaZero стала полноценным обобщением идей AlphaGo.
И, что интересно, думаю, нам сейчас необходимо вернуть подобные идеи в наши фундаментальные модели — в новые системы вроде Gemini и другие подобные модели.
Их можно рассматривать как обобщённые модели всего: языка, окружающего нас мира, а не просто одной игры вроде го.
Система начинает утром совершенно случайно. К обеду я всё ещё мог примерно конкурировать с ней сам, а к чаю она уже сильнее всех гроссмейстеров. К ужину она уже сильнее чемпиона мира. И ты буквально видишь всю её эволюцию с нуля. При этом она играет в новые, интересные шахматы, которые даже такие шахматные программы, как Stockfish, использующие более традиционный экспертный подход и метод грубой силы, ещё не открыли.
Так что AlphaZero стала полноценным обобщением идей AlphaGo. И, что интересно, я думаю, нам сейчас необходимо вернуть подобные идеи в наши фундаментальные модели — в новые системы вроде Gemini и другие подобные модели, которые можно рассматривать как обобщённые модели всего: языка, окружающего нас мира, а не просто одной игры вроде го.
Но поверх этих моделей нам всё ещё необходима способность искать, думать и рассуждать. Иногда мы называем такие системы моделями мира. И я думаю, что эта проблема пока ещё не решена до конца.
Утром — случайная игра. К ужину — сильнее лучшего человека на планете. И он сам говорит, что уровень рассуждения, который должен быть добавлен поверх современных моделей, пока ещё не создан в полной мере.
Именно эту часть сейчас пытаются довести до совершенства — ту самую, которая превращает чат-бота в систему, способную самостоятельно планировать.
Когда я говорю об агентах, я имею в виду системы, способные самостоятельно выполнять целые задачи. Конечно, мы хотим иметь такие системы, потому что они будут чрезвычайно полезны — например, в качестве помощников.
Но это также означает, что они будут становиться всё более способными и автономными. И тогда возникает вопрос: как убедиться — и это должны продумывать все ведущие лаборатории, — что установлены необходимые ограничения, которые позволят нам гарантировать, что системы будут точно выполнять то, что им поручено, и достигать поставленных перед ними целей, причём эти цели должны быть сформулированы достаточно чётко?
Нужно также обеспечить, чтобы у них не было возможности обойти эти ограничения или случайно нарушить их.
И это невероятно сложная техническая задача, если задуматься о том, насколько мощными, умными и способными в конечном итоге станут эти системы.
Поэтому я склонен беспокоиться именно об этих вещах. Их можно назвать среднесрочными проблемами, хотя три-четыре года — это не совсем среднесрочная перспектива.
Но именно этим вопросам, как мне кажется, сейчас уделяется недостаточно внимания. И я думаю, что они станут главными проблемами, с которыми нам придётся столкнуться, если мы хотим пройти через момент появления AGI так, чтобы это принесло пользу человечеству.
Он не говорит, что проблема защитных ограничений уже решена. Наоборот, он называет её невероятно сложной, в то время как этим системам уже поручают самостоятельно выполнять целые задачи. То есть он говорит не о каком-то отдалённом риске будущего — это нерешённая проблема уже сегодня.
Послушайте:
Обратная сторона заключается в том, что сейчас мы оказались в условиях своего рода жестокой коммерческой гонки, в которую все оказались втянуты.
Кроме того, существуют геополитические проблемы, например соперничество между США и Китаем.
Таким образом, существует сразу несколько уровней давления, заставляющих нас двигаться как можно быстрее.
Преимущество этого, конечно, в том, что прогресс идёт быстрее. Сегодня развитие действительно происходит с невероятной скоростью.
И это хорошо для всех полезных применений технологии.
Второе преимущество заключается в том, что все вы, зрители, получаете возможность пользоваться самыми передовыми технологиями ИИ — возможно, всего через три-шесть месяцев после того, как они появляются в лабораториях.
Это просто невероятно.
И это хорошо ещё и потому, что, я думаю, даёт каждому ощущение того, что ИИ становится доступным для всех. Люди могут почувствовать, каково это — взаимодействовать с передовыми системами искусственного интеллекта, увидеть, что они умеют и чего пока не умеют.
И я думаю, для общества это полезно: люди постепенно привыкают к тому, насколько огромные изменения принесёт эта технология.
Наверное, лучше знакомиться с этим постепенно, небольшими шагами, чем однажды просто столкнуться с шоком: ещё вчера AGI не существовало, а сегодня оно вдруг появилось. Думаю, такой сценарий был бы не лучшим.
Хотя, конечно, всё могло развиваться по-разному.
И, наконец, есть ещё один аспект, который я отношу скорее к преимуществам: невозможно по-настоящему понять свои системы, пока их не протестируют миллионы людей.
Неважно, насколько качественно вы проводите внутреннее тестирование. Миллионы умных людей будут пытаться использовать систему по-разному, а вы будете видеть, какие проблемы всплывают на поверхность, и получать обратную связь.
Это действительно важно для создания более надёжных и совершенных систем.
Так что в том, как всё это развивается, есть и положительные, и отрицательные стороны.
Это не тот путь, о котором я мечтал много лет назад, когда представлял, что мы будем философски размышлять над происходящим и очень тщательно обдумывать каждый следующий шаг.
Мы живём не в таком мире.
И хотя я прежде всего учёный, я также прагматичный инженер.
Поэтому нам приходится иметь дело с реальным миром таким, какой он есть, и извлекать из этой ситуации максимум возможного.
Мы стараемся делать это, одновременно двигая границы технологий вперёд и стараясь быть максимально ответственными при внедрении таких мощных технологий, как Gemini и AlphaFold.
Он хотел, чтобы перед появлением AGI прошли десятилетия осторожных научных исследований. Вместо этого он оказался участником гонки, которую подталкивают коммерческое давление и конкуренция с Китаем.
Когда человек, который непосредственно создаёт эту технологию, говорит вам, что скорость развития определяется давлением, а не осторожностью, это многое говорит о том, кто на самом деле находится за рулём.
А теперь послушайте:
Если довести эту тенденцию до конца, где находится предел? Какие вещи, по вашему мнению, ИИ не сможет делать, хотя люди способны на них?
Вы называли этот вопрос главным вопросом своей жизни.
— Да, это действительно так.
И это тесно связано с научными идеями некоторых моих величайших героев, например Алана Тьюринга.
Он описал машины Тьюринга — теоретические конструкции, которые, по сути, лежат в основе всех современных компьютеров.
Они способны вычислять всё, что вообще является вычислимым.
То есть всё, что можно описать в виде алгоритма, такая машина способна вычислить.
И я думаю, что создаваемые нами системы представляют собой своего рода приближённые машины Тьюринга.
Многие нейробиологи, включая меня, считают, что, возможно, хорошей моделью работы мозга также является приближённая машина Тьюринга.
И тогда возникает вопрос...
Однако есть и другие учёные — например, мой друг Роджер Пенроуз, — который считает, что в мозге могут существовать определённые квантовые эффекты.
Думаю, вы, наверное, даже делали об этом видео.
Мы с ним неоднократно очень доброжелательно спорили на эту тему.
Но пока нейробиология не обнаружила никаких квантовых эффектов в мозге.
Это не означает, что их никогда не обнаружат, но на данный момент учёные достаточно тщательно их искали и ничего подобного не нашли.
Кроме того, мы многого не понимаем в квантовых эффектах, гравитации и сознании — практически во всём, что действительно имеет для нас значение.
Но большинство людей просто отвлекают себя весь день телевизионными шоу, играми и другими вещами и не слишком об этом задумываются.
Я никогда не был таким.
Эти глубокие загадки постоянно не дают мне покоя.
И я довольно открыт к любым возможным ответам относительно того, что на самом деле здесь происходит, какова природа реальности.
В конечном счёте именно это меня и интересует.
Я хочу использовать ИИ как инструмент, который поможет нам понять окружающую нас реальность.
И я спокойно отношусь к тому, каким в итоге окажется ответ.
Я не придерживаюсь заранее заданного представления о том, каким он должен быть.
В этом смысле я настоящий учёный: я просто хочу узнать ответ.
— Я тоже.
Человек, возглавляющий одну из самых мощных лабораторий искусственного интеллекта на планете, только что сказал вам, что не может определить предел возможностей ИИ, потому что, согласно его собственным научным представлениям, возможно, такого предела вообще не существует.
Долгосрочное планирование, рассуждение, творчество — именно те качества, которые мы использовали, чтобы отделить человека от машины, — он ожидает, что ИИ в конечном итоге сможет делать всё это.
Если соединить это с проблемой защитных ограничений, которая, по его собственным словам, пока не решена, и с гонкой, которую он называет жестокой, становится понятно, почему он снова и снова возвращается к слову «беспокойство».
Если всё это вас тревожит, оставайтесь с нами, потому что никто не собирается останавливать эту гонку, чтобы подробно объяснить, что будет дальше.
