Искусственный интеллект настолько опасен, что стоит держать его взаперти, от греха подальше, считают эксперты. Во всяком случае ему не стоит предоставлять свободу суперкомпьютера HAL 9000 из «Космической Одиссеи 2001»

Суперумные компьютеры или роботы, угрожающие существованию человеческого рода – излюбленный сюжет научной фантастики. В реальности, по мнению учёных,  подобный сценарий судного дня можно предотвратить только создав виртуальную «тюрьму» для содержания искусственного интеллекта (ИИ). И сделать это надо до того, как он научится осознавать и совершенствовать самого себя.

Если выпустить этого джина из бутылки, то из оракула, который решает наши проблемы, он может превратиться в апокалипсическую угрозу, – уверен Роман Ямпольский,  учёный из Луисвиллского университета (шт. Кентукки), работающий в области компьютерных наук. Необходимо тщательно спланировать условия, в которых будет содержаться ИИ – так, чтобы он не смог вырваться на свободу при помощи угроз, подкупа, соблазна или компьютерного взлома.

«Он может изобрести множество способов воздействия, провернуть сложную социо-инженерную комбинацию и использовать уже существующие аппаратные компоненты в целях, которые мы не можем даже вообразить, – полагает Ямпольский. – Такой софт обладает неограниченными возможностями для заражения компьютеров и сетей. ИИ может найти способы воздействовать на человеческую психику, подкупать или шантажировать людей, которые находятся с ним в контакте».

Появление новой сферы научных исследований, занимающейся проблемой создания «тюрьмы» для искусственного интеллекта, имеет и дополнительные преимущества. Эти исследования очень полезны  для улучшения компьютерной безопасности и криптографии, уверен Ямпольский. Его предложения были детально изложены в мартовском номере академического издания Journal of Consciousness Studies.

Робот-убийца из фильма "Терминатор" как раз является таким будущим, которого мы хотели бы избежать

Как устроить западню для Скайнет

Для начала можно заключить искусственный интеллект внутри «виртуальной машины». Пусть он работает в пределах обычной операционной системы  –  ограничение доступа ИИ к софту и оборудованию главного компьютера сделает его значительно безобидней. Во всяком случае, умный ИИ не сможет рассылать своим сторонникам-людям тайные сообщения,  отбивая охлаждающими вентиляторами азбуку Морзе.

Посадить искусственный интеллект в компьютер без выхода в интернет – хороший способ помешать коварным планам ИИ по защите Земли от нас с вами. В случае любого другого сбоя исследователи всегда могут притормозить мыслительный процесс ИИ, сбавив скорость обработки данных компьютера, регулярно нажимая кнопку «сброс» или отключив ИИ от источника энергоснабжения.

Такие меры безопасности предназначены для борьбы с особо умными и опасными компьютерными вирусами, но насколько эффективными они окажутся на самом деле – приходится только гадать.

«Уловка-22» (роман амер. писателя Дж. Хеллера; прим. mixednews) заключается в том, что мы не можем провести полномасштабные испытания наших идей, пока разработка ИИ не закончена. Но  для того, чтобы сделать ИИ безопасным, необходимо разработать комплекс соответствующих мер, – считает Ямпольский. – Оптимальный вариант – ввести ограничения на использование систем ИИ а затем, по мере необходимости, менять эти ограничения в соответствии с повышающимися возможностями ИИ».

Учёный Роман Ямпольский предложил использовать знак "@" или другие знаки, использующиеся сегодня для обозначения радиационной или биологической угрозы для указания на наличие опасности, связанной с искусственным интеллектом.

Никогда не приставляйте к машине охранника-человека

Во время невинной, на первый взгляд, беседы с охранником ничто не помешает ИИ использовать такие психологические приёмы, как дружба или шантаж. Человека можно подкупить, посулив ему идеальное здоровье, бессмертие, или даже пообещать вернуть с того света родных и друзей. Или добиться чего угодно угрозами.

Самый безопасный способ общения с ИИ – заставить его, при решении специфической научной или технической задачи, выбирать ответ из множества имеющихся вариантов, – объясняет Ямпольский. Это поможет держать супер-умного оракула на коротком поводке.

Многие исследователи считают, что, несмотря на все меры предосторожности, держать умника ИИ под замком бесконечно не удастся. Последний эксперимент Элиэзера Юдковского, научного сотрудника Института сингулярности по созданию Искусственного Интеллекта, показал, что даже интеллект человеческого уровня  может обмануть человека и «сбежать» из заточения.

Тем не менее, Ямпольский настаивает на содержании ИИ в строгой изоляции – это всё же лучше, чем махнуть рукой и предоставить ему полную свободу. Но если развитие ИИ достигнет точки, когда он сможет манипулировать человеком, используя подсознание (предсказание будущего), телепатию или телекинез – последствия будут непредсказуемы.

«Если такой ИИ будет самосовершенствоваться и достигнет уровня значительно превышающего возможности человеческого интеллекта, последствия невозможно даже представить» – предостерегает Ямпольский.

Два коммента:

Скептик (тот, который оригинальный) говорит:

saber говорит:

Субъективная оценка автором степени достоверности источников информации (информационный шум) на основании сорокалетнего опыта научной работы такова.

Учебник, энциклопедия, база данных, толковый словарь. Здесь наиболее проверенные, устоявшиеся, тщательно отредактированные знания. Информационный шум в относительных единицах равен 1. Это устаревшие сведения и «ляпы». Например, во французской энциклопедии Larousse, в издании 1903 года которой была статья: «Иван Четвёртый, Царь Всей Руси, прозванный за свою жестокость Васильевичем». Над французами потешались все, однако и в отечественных энциклопедиях не обошлось без курьёзов. Это идеологические перевертыши. Такой «лженауке», как генетика, посвящена отдельная статья во втором издании Большой Советской Энциклопедии, однако писал ее академик Т.Д. Лысенко. Со всеми вытекающими последствиями вплоть до посадок и расстрелов. «Разгром менделизма-морганизма на августовской сессии Всесоюзной академии сельскохозяйственных наук имени В.И. Ленина вызвал злобу реакционеров от политики и науки во всем мире».

Оригинальная статья, обзор, специальная монография. Основные источники научной информации с системой перекрестных ссылок. Информационный шум – 3. Это ошибки экспериментов, не видные редакторам и рецензентам, новые непроверенные концепции.

Научно-популярный, познавательный журнал или книга. Цель такого рода изданий – заинтересовать обычного читателя, не владеющего специальными научными языками, побудить его к самостоятельному поиску знаний. Одна из причин, почему я пишу в ШколаЖизни.ру, именно в этом и заключена. В России наиболее авторитетны журналы «Природа», «Наука и жизнь», «Знание – сила», «Химия и жизнь». Любой сформировавшийся ученый скажет вам, что пришел в науку не без влияния таких источников. Информационный шум – 10, из-за потери строгости в результате популяризации знаний.

Средства массовой информации (СМИ). Информационный шум – 30. Телевидение, газеты, радио – это всего лишь эффективный способ формирования общественного мнения. Избрание в 2000 году президентом России В.В. Путина, человека к тому времени без общественного политического лица – феномен воздействия СМИ на россиян, невозможный в стране с развитыми демократическими традициями. Известный анекдот: «Отчего сгорела Останкинская башня? – От стыда за журналистскую ложь». Ложь сознательная – пиар, черный пиар. Ложь по необразованности журналистов. В 2000 году прочитал заметку в АиФ-Хабаровск «К морю с дозиметром» – имелось в виду Японское море. И ужаснулся. Шесть абзацев и шесть ошибок. Предложил написать опровержение. Ответ редактора: не напугаешь – не прочтут. Пришлось написать отдельную статью «Человек в радиоактивном мире».

В 1990 году я опубликовал заметку «Экология слова», в которой писал: «Экология – наука об отношениях животных организмов и образуемых ими сообществ между собой и окружающей средой. Печатное слово как минимум бифункционально. С одной стороны, это элемент окружающей среды, поскольку информационные потоки обволакивают человека подобно воздуху. Многие заболевают при недостатке информации. Но даже те, кто старается дышать реже (то есть не читать), все равно сталкиваются со словом в виде слухов, пересказов, обзоров газет на телевидении и радио. С другой стороны, слово – элемент языка, культуры. Загрязнение информационных потоков так же недопустимо, как и воды, воздуха и хлеба насущного».

Интернет. Информационный шум – 3-100, в зависимости от сайта. Например, Википедия – очень неровное электронное издание, в основном заботящееся о пресечении плагиата. Есть блестящие хорошо иллюстрированные статьи, а есть и откровенные ошибки, особенно в естественнонаучных статьях, которые приходится исправлять.

Реклама. Информационный шум – 1000. Это вообще не источник информации, так как цель – формирование потребностей, рынка, а не передача знаний.

Еще раз подчеркну, что цифры являются субъективной оценкой автора, но общая тенденция намечена.