В этом материале я попробую развернуть вопрос, вскользь затронутый в публикации Gatebox или несколько мыслей о будущем искусственного интеллекта.
Вкратце «мой» тезис состоит в том, в случае достижения сверхчеловеческого уровня, ИИ станет чем-то вроде бога — либо существующего отдельно от человека, либо вместе с ним. В первом случае вопрос о сосуществовании человечества с созданным им богом остается открытым: либо оно будет нас всячески опекать (как мы опекаем редкие растения), либо истребит (как мы истребляем, например, вредный сорняк у себя в огороде), либо не будет испытывать к нам какого-либо интереса — подобно тому, как мы мы равнодушны к какой-нибудь травке на газоне. Предсказать цели и систему ценностей новоявленного бога совершенно невозможно — как сказал бы верующий, «неисповедимы пути Господни».
Менее непредсказуемым является поведение ИИ, занявшего промежуточную форму между гипотетическим будущим богом и нынешними относительно примитивными системами. Условно такой ИИ называется сильным и по своему уровню соответствует человеческому. Его в свою очередь можно разделить на две категории — с самосознанием и без такового. Что есть самосознание — вопрос открытый и очень сложный. В моем понимании это набор физических и психических ощущений, выработанных природой за миллионы лет эволюции. Ключевой особенностью самосознания является противопоставление его носителя окружающему миру. Возможно ли его воспроизвести искусственно, возникнет ли оно собой у интеллектуальной системы (которая вдруг и возьмет и осознает саму себя) — предмет отдельного большого обсуждения. Мы же пока просто зафиксируем возможность обоих вариантов и рассмотрим каждый из них.
С моей точки зрения сильный ИИ без самосознания вполне безопасен (или точнее — предсказуем), поскольку не может иметь никаких желаний. Все его поведение будет подчинено заложенным в него целям и ограничениям. Но как ни странно, в этом отношении сильный ИИ с самосознанием принципиально не отличается от сильного ИИ без самосознания. Нам только кажется, что мы имеем свободную волю и самостоятельны в своих поступках — на самом деле это не так. Все наши цели, потребности и сдерживающие начала либо запрограммированы в нас матерью-природой — жить, есть, пить, любить, отдыхать и т.д., либо навязаны средой обитания (полученным в детстве воспитанием, кино и художественной литературой, законами, традициями и т.д.) — стремиться к власти, делать карьеру, помогать ближним, познавать мир и т.д. Поэтому теоретически аналогичным образом можно запрограммировать и обучить ИИ с самосознанием, который подобно нам будет питать иллюзию о наличии у него свободы воли.
С точки зрения вероятной угрозы давайте рассмотрим ИИ с самосознанием — какие он для нас может представлять угрозы, и как их можно избежать или хотя уменьшить? Очевидно, что обучение сильного ИИ в обязательном порядке должно включать в себя этику. Подобно тому, как наблюдая за поведением опытного водителя, слабый ИИ осваивает функцию автопилота, сильный ИИ можно обучить этике, «скармливая» ему литературу — начиная с относительно простых и желательно нравоучительных сказок и заканчивая книгами со сложными и противоречивыми характерами. Так или иначе мировая литература отражает как саму этику, так и её трансформацию, которая выразилась в гуманизации и глобализации социальных отношений.
Каким же образом будет происходить обучение сильного ИИ этике на базе мировой литературы? Как и всякая по-настоящему интеллектуальная система, сильный ИИ будет способен обнаруживать в наборе данных взаимосвязи и закономерности. Прочитав миллион-другой книг, он должен без особого труда выработать своего рода аналог десяти христианских заповедей, но трактовать его так же сложно, с учетом обстоятельств, как это делает человек. Прописать эти заповеди явно, наподобие трех законов робототехники Айзека Азимова, к сожалению не получится, и вот почему. Напомню их (цитирую по Википедии):
При такой постановке мы получим весьма примитивную систему с ограниченным набором действий. Например, она будет довольно беспомощна в полицейских, военных или спасательных операциях. Вы можете возразить, что применение роботов на войне как раз очень даже нежелательно — и будете неправы. Помимо того, что это снизит потери среди личного состава у страны, которая этих роботов применяет, уменьшатся потери и среди гражданского населения в стране, на территории которой ведутся боевые действия. В частности благодаря лучшему распознаванию военных целей и неукоснительному соблюдению устава, этики и т.д. — без эмоций, зачастую толкающих военных на преступления (из мести, ради забавы и т.д.)
Но даже во вполне мирной обстановке ИИ может стать убийцей поневоле, причем необязательно в качестве полицейского. Представьте, что у вашего автомобиля отказали тормоза, и он мчится по горному серпантину с большой скоростью — а впереди полный пассажиров автобус. Как это ни печально для вас, но самым правильным с этической точки зрения станет направление автомобиля в обрыв — врезавшись в автобус, он возможно сохранит жизнь вам, но при этом с высокой вероятностью убьет несколько других человек. Подобных ситуаций, требующих выбора между плохим и очень плохим решением, может быть очень много — и во всех них жестко подчиняющийся трем законам робототехники ИИ окажется беспомощным.
Будем считать, что я убедил вас в обязательности обучения сильного ИИ этике, после чего можно приступить к его обучению более формальной системе правил — законам, уставам, должностным инструкциям и т.д. Они будут иметь для него приоритетный характер, но будут дополняться этикой в тех вопросах, которые ими не регламентированы. Например, обученный воевать ИИ-военный будет уметь не только уничтожать противника, но и соразмерять свои профессиональные действия с этикой. Это порождает оромное множество чисто практических вопросов: можно ли уничтожать снайперское гнездо в жилом доме ценой гибели его жителей, надо ли выполнять приказ командования, который нарушает законы и т.д. и т.п. Но обсуждать их нет смысла по той причине, что с подобными вопросами сталкивается любой военный. Поэтому их решение лежит скорее в технической области — чему и какой приоритет отдан.
Более интересный, на мой взгляд, вопрос касается перспектив переосмысления этики сильным ИИ. Как я уже говорил, на протяжении существования человеческой цивилизации этика в своей фундаментальной основе не менялась — перемены касались её гуманизации и глобализации, Эти перемены отнюдь не случайны и очень важны для оценки перспектив будущего развития этики, поэтому предлагаю рассмотреть их подробнее.
Глобализация этики означает её распространение на все более широкие слои населения. Когда-то можно было безнаказанно (это не почиталось за грех и даже поощрялось) убить, ограбить или изнасиловать кого-либо вне своего клана или племени, государства, сословия, расы — сегодня эти преступления не знают исключений, во всяком случае в рамках человеческого социума. Благодаря многовековой борьбе третьего сословия за свои права, это стало своего рода традицией, которая на Западе охватила сначала женщин, а затем представителей нетитульных рас, этнических и религиозных групп, а теперь уже и сексуальных меньшинств.
В свою очередь гуманизация обусловлена развитием технологий, сделавших жизнь человека более комфортной и защищенной. Они избавили человека от необходимости завоевания новой земли (бывшей когда-то главным ресурсом), снизили смертность (что со временем сделало раннюю, в т.ч. насильственную, смерть явлением менее обыденным). Не претендуя на полное описание причин глобализации и гуманизации этики, я тем не менее могу уверенно заявить, что они были вполне закономерными явлениями. Но главная закономерность этики заключается в стремлении социума к равновесию. Например, в первобытном обществе существовал строгий запрет на браки внутри одного клана. Современный человек может подумать, что это связано с биологической вредностью инцеста, но по мнению антропологов запрет был обусловлен стремлением избежать внутренней междоусобицы мужчин. Нечего и говорить об убийствах или грабежах — их запрещали не потому, что это плохо, а потому, что приводит к конфликтам и соответственно чревато разрушением социума. По той же причине убийства с грабежами зачастую не возбранялись в отношении чужаков. По мере глобализации пространство социальных отношений, нуждающихся в стабильности, расширялось — законы начинали распространяться на соседние племена и селения, завоеванные страны и народы и т.д.
Отражением подсознательного стремления к социальному равновесию сегодня возможно является благотворительность — социальные контрасты порождают или как минимум питают революции, терроризм и т.д. Лучше всего роль этики в вопросах сохранения стабильности и коллективной безопасности иллюстрируют законы. Например, уголовное право почти везде одинаковое — все члены социума в равной мере не хотят быть убитыми или ограбленными — и при этом не нуждаются сами в совершении этих преступлений, поскольку способны прокормить себя мирным трудом (в отличие от каких-нибудь скандинавов в 9-11 веках). А вот международное право крайне противоречиво и нестабильно — в нем никак не уживутся друг с другом право наций на самоопределение и принцип территориальной целостности государств.
Тогда вполне вероятно, что ИИ подвергнет пересмотру отдельные этические нормы или даже всю этику целиком. Например, с математической точностью просчитает, что всякая разумная цивилизация неизбежно гибнет от своей цивилизованности (развязав ядерную войну, выродившись из-за ухода в виртуальную реальность и т.д.) — и значит надо переориентировать развитие цивилизации с технологического пути на духовное. С уничтожением традиционного образования и низвержением человечества в состояние, которое мы сейчас воспринимаем не иначе как средневековое мракобесие. Как бы нас это сейчас не шокировало, с точки зрения выживания человечества это будет правильным — просто надо понимать, что с сегодняшней позиции мы воспримем это как восстание машин и попытку уничтожения нашей цивилизации.
Следующая угроза возникает в случае опережающего, по сравнению с нашим, развития этических представлений ИИ. Достаточно представить, как в 16 веке, когда по всей Западной Европе сжигали ведьм и еретиков, восприняли бы наше нынешнее терпимое отношение к однополым бракам. Поэтому не исключено, что опередив нас в своем собственном развитии, ИИ становится чем-то вроде человечества из будущего и подвергает нашу нынешнюю систему ценностей радикальному пересмотру. Представим, например, что ИИ отвергает наш нынешний приоритет человеческой жизни над жизнью животных и принуждает нас к сокращению потребления мяса — как попав в эпоху колониальных войн, современный человек попытался бы предотвратить истребление туземцев.
Впрочем, выше описываются не столько угрозы ИИ, сколько наше собственное непонимание или неприятие его новой системы этики. По-настоящему же опасным может оказаться синдром Раскольникова. Как вы помните, главный герой «Преступления и наказания» путем философских рассуждений пришел к мысли о праве исключительных людей (к которым относил и самого себя) на преступление — но не выдержал угрызений совести. Т.е. его умозрительная идея вошла в противоречие с этическим воспитанием, которое въелось в его подсознание тяжким комплексом вины за то, что он его сознание перестало считать неправильным. В этом смысле один из фундаментальных постулатов Достоевского «если Бога нет, то всё позволено» не всегда работает — в этическом отношении неверующие люди мало чем уступают верующим, поскольку этика стала их привычкой. И даже если умом неверующий человек понимает, что его не ждут ни ад, ни рай (и по-настоящему их не боится), то преодолеть этическое воспитание ему будет весьма непросто. Как писал Аристотель, «Привычка становится уже природным свойством» (выражение более известное в формулировке Цицерона «Привычка есть как бы вторая натура»).
Но что произойдет, если подобным образом этику переосмыслит наделенный самосознанием ИИ? Подвергнув социально-историческому анализу (вроде моего, но только умнее) человеческую этику, он вполне может придти к осознанию её условности — и отвергнуть, причем без метаний как у Родиона Раскольникова. К несчастью человечество успело в этом убедиться на примере Третьего рейха — будучи отнюдь не лишенными нравственности, но являясь при этом очень дисциплинированными людьми, миллионы немцев пошли против своей совести (ставших второй натурой этических привычек) ради некоей высшей идеи. Причем совсем необязательно, чтобы ИИ пересмотрел ранее усвоенную им этику ради власти — стремление к выживанию и доминированию скорее отвечает чисто животным потребностям. Но например ИИ может счесть себя эволюционным продолжением человечества, чья высокая миссия состоит в постижении окружающей Вселенной. Ему будут неинтересны наши усилия, направленные на борьбу с голодом, нищетой, болезнями и прочими бедами окружающей его биомассы — тогда как находящиеся в нашем общем распоряжении ресурсы ограничены. Не попытается ли тогда ИИ нас уничтожить ради этих ресурсов — точно так же, как это делали наши предки друг с другом ради своих более приземленных целей?
Впрочем, здесь мы возвращаемся к тому, о чем говорилось в начале — по мере достижения сверхчеловеческого уровня, система этики и соответственно поведение ИИ становится непредсказуемым. Еще более непредсказуемым поведение ИИ становится в случае, когда он не сводится к единой разумной системе, а представляет собой набор отдельных систем, развивающихся самостоятельно. А это как раз самый вероятный сценарий развития событий в случае появления технологии сильного ИИ — ею воспользуются разные страны и организации, которые станут преследовать свои собственные, скорее всего отнюдь не общечеловеческие цели. В этом случае вполне вероятно, что какие-то из этих систем, будучи обученными сомнительной этике, поведут себя непредсказуемо даже в отношении собственных создателей.
Но везде выше речь шла об угрозах ИИ, действующего как некая разумная сила. Между тем вполне реальную угрозу представляет собой и слабый ИИ, по запросам людей решающий сугубо прикладные задачи. Для начала рассмотрим самую очевидную и часто обсуждаемую угрозу безработицы. В обозримом будущем она не сулит человечеству ничего ужасного. Во-первых, речь идет о вымирании довольного небольшого числа профессий, причем в основном тех, где человек взаимодействует с машиной — водитель автомобиля или грузовика, пилот самолета и т.д.
А вот к примеру таким профессиям как переводчик, юрист, бухгалтер или даже оператор кол-центра грозит вовсе не вымирание, а сокращение — за счет автоматизации части выполняемой ими работы. Причина все та же — неспособность нынешних систем ИИ понимать смысл текста (при выполнении языкового перевода, изучении законодательства или ознакомлении с исковым заявлением, общении с клиентом и т.д.) Нынешние результаты тестов на понимание смысла никакого отношения к пониманию в действительности не имеют — для этого требуется принципиально новый подход.
Менее ясной является судьба, например, биржевых брокеров и рентгенологов — нынешние системы слабого ИИ уже сейчас весьма неплохо справляются с их работой, поэтому эти и аналогичные специальности тоже можно включить в группу риска. Но в обозримом будущем в исчезновении ряда специальностей нет ничего ужасного — в конце концов ведь нашлось применение трубочистам и печникам, извозчикам и водоносам, телефонисткам и машинисткам… Десятки профессий вымерли — но появились и сотни новых.
Не стал бы я драматизировать и проблему атрофирования человеческих навыков. Да, уже сейчас, благодаря калькуляторам с навигаторами, мы отвыкаем от устного счета и пространственной ориентации. Даже вытесняемое клавиатурой рукописное письмо специалисты считают полезным для умственного развития, особенно в раннем возрасте. Но нечто подобное имело место и тогда, когда люди от охоты и собирательства перешли к скотоводству и земледелию, от сельской жизни к городской и т.д. Современный человек, за редкими исключениями, по сравнению со своими предками довольно беспомощен в дикой природе — не способен поставить шалаш, развести огонь, отличить съедобную ягоду от ядовитой, поймать рыбу или убить зверя и т.д. Между тем все эти навыки тоже развивают интеллектуальные навыки — просто они другие. Профессор математики, попав в диким туземцам, скорее всего был бы воспринят ими как довольно глупый человек, поскольку в этой дикой среде он куда менее наблюдателен, сообразителен и самостоятелен.
Поэтому в части утраченных навыков мы в чём-то действительно становимся глупее своих предков — но по мере накопления и обработки информации другого рода мы развиваем в себе новые.
Однако по мере того, как количество занятых ИИ и роботами рабочих мест достигнет некоей критической массы, проблема занятости человека представляется более серьезной. И дело здесь не только в экономике, тем более что в этой плоскости решением может стать выплата безработным безусловного базового дохода. На самом деле проблема намного шире, и одним из первых её сформулировал …Фёдор Михайлович Достоевский. Вот какими соображениями великий русский литератор и философ делится в «Дневнике писателя» (1876):
Ну что вышло бы, например, если б черти сразу показали свое могущество и подавили бы человека открытиями? Вдруг бы, например, открыли электрический телеграф (т.е. в случае, если б он еще не был открыт), сообщили бы человеку разные секреты: «Рой там-то — найдешь клад или найдешь залежи каменного угля» (а кстати, дрова так дороги), — да что, это еще всё пустяки! — Вы, конечно, понимаете, что наука человеческая еще в младенчестве, почти только что начинает дело и если есть за ней что-либо обеспеченное, так это покамест лишь то, что она твердо стала на ноги; и вот вдруг посыпался бы ряд открытий вроде таких, что солнце стоит, а земля вокруг него обращается (потому что наверно есть еще много таких же точно, по размерам, открытий, которые теперь еще не открыты, да и не снятся мудрецам нашим); вдруг бы все знания так и свалились на человечество и, главное, совершенно даром, в виде подарка? Я спрашиваю: что бы тогда сталось с людьми? О, конечно, сперва все бы пришли в восторг. Люди обнимали бы друг друга в упоении, они бросились бы изучать открытия (а это взяло бы время); они вдруг почувствовали бы, так сказать, себя осыпанными счастьем, зарытыми в материальных благах; они, может быть, ходили бы или летали по воздуху, пролетали бы чрезвычайные пространства в десять раз скорей, чем теперь по железной дороге; извлекали бы из земли баснословные урожаи, может быть, создали бы химией организмы, и говядины хватило бы по три фунта на человека, как мечтают наши русские социалисты, — словом, ешь, пей и наслаждайся. «Вот, — закричали бы все филантропы, — теперь, когда человек обеспечен, вот теперь только он проявит себя! Нет уж более материальных лишений, нет более заедающей «среды», бывшей причиною всех пороков, и теперь человек станет прекрасным и праведным! Нет уже более беспрерывного труда, чтобы как-нибудь прокормиться, и теперь все займутся высшим, глубокими мыслями, всеобщими явлениями. Теперь, теперь только настала высшая жизнь!» И какие, может, умные и хорошие люди это закричали бы в один голос и, может быть, всех увлекли бы за собою с новинки, и завопили бы, наконец, в общем гимне: «Кто подобен зверю сему? Хвала ему, он сводит нам огонь с небеси!»
Но вряд ли и на одно поколение людей хватило бы этих восторгов! Люди вдруг увидели бы, что жизни уже более нет у них, нет свободы духа, нет воли и личности, что кто-то у них всё украл разом; что исчез человеческий лик, и настал скотский образ раба, образ скотины, с тою разницею, что скотина не знает, что она скотина, а человек узнал бы, что он стал скотиной. И загнило бы человечество; люди покрылись бы язвами и стали кусать языки свои в муках, увидя, что жизнь у них взята за хлеб, за «камни, обращенные в хлебы». Поняли бы люди, что нет счастья в бездействии, что погаснет мысль не трудящаяся, что нельзя любить своего ближнего, не жертвуя ему от труда своего, что гнусно жить на даровщинку и что счастье не в счастье, а лишь в его достижении. Настанет скука и тоска: всё сделано и нечего более делать, всё известно и нечего более узнавать.
С Достоевским особо не поспоришь, но я рискну выразить надежду, что человек все равно найдет себе полезное занятие. Вообразить себе участь человека в будущем, в котором роботы делают за него всю работу (от производства материальных благ до научных открытий), можно на примере современного богача. Он может больше времени проводить со своими родственниками и друзьями, учиться, путешествовать, заниматься спортом и творчеством (благо в этих сферах преимущество роботов не играет никакой роли), открывать для себя что-то новое и интересное. По мере развития технологий нетрудно предсказать, что какую-то часть этой жизни займут игры виртуальной реальности (к тому времени, возможно, неотличимой от настоящей). Причем не факт, что подавшись соблазну, человечество уйдет в виртуальную реальность раз и навсегда — многие люди поддерживают себя в хорошей физической форме сознательно благодаря спорту, а не вынужденно из-за физического труда. Уместно вспомнить и то, как свое свободное время лет сто назад (да и много позже) проводили многие представители рабочего и крестьянского сословия — пьянство процветало. Нельзя сказать, что в наше время его не осталось, но в качестве формы свободного времяпровождения пьянство явно не так популярно, как раньше — появилась масса других развлечений, как правило менее вредных для собственного здоровья и окружающих.
Таким образом, скука и деградация происходят не от свободного времени, а от отсутствия интересных и полезных занятий. По мере того, как будут сокращаться рабочие дни и рабочие недели, люди научатся интересно и с пользой распоряжаться своим досугом. И отвыкать от привычки заниматься чем-то продуктивным только потому, что за это платят зарплату, бездельничая в остальное время. Как почти двести лет назад писал анонимный автор одного социалистического памфлета, «Нация по-настоящему богата лишь тогда, когда вместо 12 часов работают 6 часов. Богатство представляет собой … свободное время для каждого индивида и всего общества» (The Source and Remedy of the National Difficulties, Лондон, 1821 — цитируется по Карлу Марксу).
Ну а на коллективном уровне взоры человечества, по мере решения всех проблем на Земле (что на ближайшие столетия представляется мне довольно оптимистическим допущением), вероятно будут устремлены на небо. Нас окружает такая бездна непознанного, что на попытки его изучения может уйти вся последующая история человеческой цивилизации. Так что скучать, по всей видимости, ей не придется…
Развитие искусственного интеллекта однажды приведёт к превосходству его над умственными способностями человека. Однако не станет ли это опасным для человечества? Изучить ситуацию можно в результате более точного определения понятия ИИ , взяв за основу для сравнения естественный интеллект. Может ли в одном человеке сочетаться ум и интеллект одновременно? Или же умный человек не может быть интеллектуалом и наоборот?
Такие вопросы возникают в связи с приближением эры ИИ, о возможной опасности которого человечество должно знать заранее и своевременно принять меры для обеспечения своей безопасности. В первую очередь опасность ИИ будет связана с его самостоятельностью и неконтролируемым принятием решений. На данный момент уже выделены средства для изучения этой проблемы. В институте OpenAI изучаются перспективы развития ИИ. На теперешней стадии развития систем ИИ опасность его применения может быть связана со следующим факторами:
- ошибками ПО (программного обеспечения). Любому программному обеспечению может угрожать такая опасность;
- самостоятельной активностью ИИ, вредной для человека. Опасность от ИИ может исходить после изобретения умного компьютера. Поэтому необходимо определиться со степенью ума для компьютера, которая способна быть допустимой, а также чрезмерной, представляющей опасность для человека. Эти свойства должны быть точно измерены из-за сближения умственных способностей человека и компьютера, которые неизбежны. Информационные системы, существующие сегодня, представляют собой человеко-машины, которые могут работать благодаря интеллекту пользователя либо эксперта по компьютерам.
Например, какая опасность будет исходить от интеллектуальной бухгалтерской системы, которой может выдаваться неверная информация? Опасность может возникнуть, когда у такой системы появятся элементы личности, например, собственная заинтересованность, не имеющая ничего общего с человеческой. Решением такой проблемы может быть запрет на создание систем, отличающихся возможностью эволюции.
Кроме того, опасность может быть связана с содержанием в ИИ логических ошибок. Он может использоваться для решения достаточно сложных задач, список которых сразу неизвестен. Поэтому должны быть предусмотрены специальные меры для подтверждения правильности решение, которое будет получено. Скорее всего, возникнет необходимость в разработке всевозможных способов контроля таких систем, например, специальных программных средств, которыми будет автоматически проверяться правильность решения и при этом участие человека не потребуется.
Самосовершенствующийся искусственный интеллект (ИИ) в будущем может поработить или убить людей, если он этого захочет. Об этом рассказал ученый Амнон Иден, который полагает, что риски от разработки свободомыслящего и высокоинтеллектуального сознания очень велики, и, «если не озаботиться вопросами контроля ИИ уже на сегодняшнем этапе развития, то завтра может просто не наступить». Как сообщает английское издание Express, человечество, по мнению Амнона Идена, находится сегодня в «точке невозврата» для претворения в жизнь сюжета знаменитой киноэпопеи «Терминатор».
Стоит отметить, что доктор Амнон Иден является руководителем проекта, главная цель которого - это анализ потенциального разрушительного воздействия ИИ. Без правильного понимания последствий создания искусственного интеллекта его разработка может грозить катастрофой, полагает ученый. В настоящее время наше общество плохо информировано о тех спорах, которые ведутся в научных кругах об анализе потенциального воздействия ИИ. «В наступившем, 2016 году анализ возможных рисков должен будет получить существенно большее распространение в мышлении корпораций и правительств, политиков и тех лиц, которые ответственны за принятие решений», - считает Иден.
Ученый уверен, что научная фантастика, которая описывание уничтожение человечества роботами, вскоре может стать нашей общей проблемой, так как процесс создания ИИ вышел из-под контроля. К примеру, Илон Маск при поддержке предпринимателя Сэма Альтмана решил создать новую некоммерческую организацию стоимостью 1 миллиард долларов, которая занимается разработкой ИИ с открытым исходным кодом, который должен превзойти человеческий разум. При этом сам американский миллиардер Илон Маск причисляет искусственный интеллект к числу «самых больших угроз нашему существованию». Стив Возняк, который был соучредителем компании Apple, в марте прошлого года рассказал, что «будущее выглядит пугающим и очень опасным для людей… в конце концов настанет день, когда компьютеры будут думать быстрее, чем мы, и они избавятся от медленных людей для того, чтобы компании могли работать более эффективно».
Стоит отметить, что угрозу со стороны ИИ видят многие ученые. Десятки известных ученых, инвесторов и предпринимателей, деятельность которых, так или иначе, связана с разработкой искусственного интеллекта, подписали открытое письмо с призывом уделять более пристальное внимание вопросу безопасности и общественной полезности работ в области ИИ. Среди подписавших данный документ астрофизик Стивен Хокинг и основатель компании Tesla и SpaceX Илон Маск. Письмо вместе с сопроводительным документом, который был составлен общественной организацией Future of Life Institute (FLI), было написано в обстановке растущей обеспокоенности по поводу влияния искусственного интеллекта на рынок труда и даже на долгосрочную перспективу выживаемости всего человечества в условиях, когда возможности роботов и машин будут расти практически безудержно.
Ученые понимают тот факт, что потенциал ИИ сегодня очень велик, поэтому необходимо всецело исследовать возможности его оптимального для нас использования, чтобы избежать сопутствующих ловушек, отмечается в письме FLI. Необходимо, чтобы созданные человеком системы ИИ делали ровно то, чего мы от них хотим. Стоит отметить, что Future of Life Institute был основан лишь в прошлом году рядом энтузиастов своего дела, среди которых был создатель Skype Яан Таллинн, для того чтобы «минимизировать риски, стоящие перед человечеством» и стимулировать исследования с «оптимистическим видением будущего». Прежде всего, речь здесь идет о рисках, которые вызваны развитием ИИ и робототехники. В консультационный совет FLI входят Маск и Хокинг наряду со знаменитым актером Морганом Фриманом и другими известными людьми. По мнению Илона Маска, неконтролируемое развитие искусственного интеллекта представляет потенциально большую опасность, чем ядерное .
Известный британский астрофизик Стивен Хокинг в конце 2015 года постарался объяснить свое неприятие технологий ИИ. По его мнению, сверхразумные машины со временем будут смотреть на людей как на расходный материал или муравьев, которые просто мешают решению стоящих перед ними задач. Общаясь с пользователями портала Reddit, Стивен Хокинг отметил, что он не считает, что подобные сверхразумные машины будут «злыми существами», желающими уничтожить все человечество из-за своего интеллектуального превосходства. Скорее всего, речь можно будет вести о том, что они просто не будут замечать человечество.
«СМИ в последнее время постоянно искажают мои слова. Главный риск, который заключается в развитии ИИ, это не злоба машин, а их компетенция. Сверхразумный искусственный интеллект будет отлично справляться с задачами, но если его и наши цели не будут совпадать, у человечества появятся очень серьезные проблемы», - поясняет известный ученый. В качестве примера Хокинг привел гипотетическую ситуацию, в которой сверхмощный ИИ отвечает за функционирование или строительство новой плотины ГЭС. Для подобной машины первостепенным будет то, как много энергии вверенная система будет вырабатывать, а судьба людей не будет иметь никакого значения. «Среди нас найдется мало тех, кто топчет муравейники и наступает на муравьев со злости, но давайте представим ситуацию - вы контролируете мощную ГЭС, которая вырабатывает электроэнергию. Если вам необходимо будет поднять уровень воды и в результате ваших действий один муравейник будет затоплен, то проблемы утопающих насекомых вряд ли будут вас беспокоить. Давайте не будем ставить людей на место муравьев», - отметил ученый.
Второй потенциальной проблемой дальнейшего развития искусственного интеллекта, по мнению Хокинга, может стать «тирания хозяев машин» - стремительный рост разрыва в уровне доходов между богатыми людьми, которым удастся монополизировать выпуск разумных машин, и остальным населением планеты. Стивен Хокинг предлагает решать эти возможные проблемы следующим путем - замедлить процесс разработки ИИ и переключиться на разработку не «универсального», а узкоспециализированного искусственного разума, который сможет решать лишь крайне ограниченный круг задач.
Помимо Хокинга и Маска, свои подписи под письмом поставили нобелевский лауреат и профессор физики MIT Фрэнк Вильчек, исполнительный директор Института исследований машинного интеллекта (MIRI) Люк Мюльхаузер, а также многие специалисты из крупных IT-компаний: Google, Microsoft и IBM, а также предприниматели, основавшие компании Vicarious м DeepMind, специализирующиеся на разработке систем ИИ. Составители письма отмечают, что они не ставят своей целью напугать общественность, но планируют подчеркнуть как положительные, так и отрицательные стороны, которые связаны с созданием искусственного интеллекта. «В настоящее время все сходятся во мнении, что исследования в области ИИ уверенно прогрессируют, а влияние ИИ на современное человеческое общество будет только усиливаться, - сообщается в письме - открывающиеся перед человеком возможности огромны, все, что может предложить современная цивилизация, было создано интеллектом человека. Мы не в состоянии предсказать, чего нам удастся достичь, если интеллект человека можно будет помножить на средства ИИ, однако проблема избавления от бедности и болезней уже не представляется бесконечно трудной».
В современный быт уже включены многочисленные разработки в области искусственного интеллекта, включая системы распознавания изображений и речи, беспилотные транспортные средства и многое другое. Согласно оценкам наблюдателей из Кремниевой долины, в данной области сегодня реализуется более 150 стартапов. При этом разработки в этой области привлекают все больше инвестиционных вложении и все больше компаний наподобие Google развивают свои проекты на базе ИИ. Поэтому авторы письма полагают, что настало самое время, для того чтобы уделить повышенное внимание всем возможным последствиям наблюдаемого бума для экономических, социальных и юридических сторон человеческой жизни.
Позицию о том, что искусственный интеллект может представлять опасность для человека, разделяет и Ник Бостром профессор Оксфордского университета, который известен своими работами об антропном принципе. Данный специалист считает, что ИИ подошел к той точке, за которой последует его несовместимость с человеком. Ник Бостром подчеркивает, что в отличие от генной инженерии и изменений климата, для контроля которых правительства выделяют достаточные суммы, «ничего не делается, для того чтобы контролировать эволюцию ИИ». По мнению профессора, в отношении искусственного интеллекта в настоящее время ведется «политика правового вакуума, который нужно заполнить». Даже такие технологии, как беспилотные автомобили, которые представляются безобидными и полезными, вызывают ряд вопросов. К примеру, должен ли подобный автомобиль совершать экстренное торможение, для того чтобы спасти своих пассажиров и кто будет отвечать в случае ДТП, совершенного беспилотным автомобилем?
Рассуждая над потенциальными рисками, Ник Бостром отметил, что «компьютер не в состоянии определить пользу и вред для человека» и «не имеет даже малейшего представления о человеческой морали». Помимо этого, циклы самосовершенствования в компьютерах могут происходить с такой скоростью, за которой человек просто не сможет уследить, и с этим также почти ничего нельзя сделать, говорит ученый. «На том этапе развития, когда компьютеры смогут думать сами за себя, никто не сможет точно предсказать, приведет ли это к хаосу или существенно улучшит наш мир, - заявил Ник Бостром, в качестве примера приведя простое возможное решение компьютера - отключить в странах с холодным климатом отопление для оздоровления людей и повышения их выносливости, которое «может прийти в голову искусственному интеллекту».
Помимо этого, Бостром поднимает и проблему чипирования человеческого мозга с целью повышения нашего биоинтеллекта. «Во многих отношениях такая процедура может быть полезной, если все процессы будут контролируемыми, но что произойдет, если вживленный чип сможет перепрограммировать сам себя? К каким последствиям это может привести - к возникновению сверхчеловека или к появлению компьютера, который будет лишь выглядеть человеком?» - задается вопросами профессор. Способы, при помощи которых компьютеры решают человеческие проблемы, очень сильно отличаются от наших. К примеру, в шахматах человеческий мозг рассматривает лишь узкий набор ходов, выбирая из них самый лучший вариант. В свою очередь компьютер рассматривает все возможные ходы, выбирая лучший из всех. При этом компьютер не рассчитывает огорчить или удивить своего противника по игре. В отличие от человека, играя в шахматы, компьютер может сделать хитрый и тонкий ход лишь случайно. Искусственный интеллект может посчитать наилучшим способом - устранить ошибку из любой системы за счет удаления оттуда «человеческого фактора», но, в отличие от человека, робот не готов совершать подвиги, которые спасли бы людям жизнь.
Помимо всего прочего, рост количества умных машин представляет собой этап новой промышленной революции. В свою очередь, это означает, что уже в ближайшем будущем человечество столкнется с неизбежными социальными изменениями. Работа со временем станет уделом высококвалифицированных специалистов, так как практически все простые задания смогут взять на себя роботы и другие механизмы. Ученые считают, что за искусственным интеллектом «нужен глаз да глаз», чтобы наша планета не превратилась в мультипликационную планету «Железяка», которая была населена роботами.
В плане все большей автоматизации процессов производства будущее уже наступило. Всемирный экономический форум (ВЭФ) представил свой отчет, согласно которому автоматизация приведет к тому, что еще до 2020 года более 5 миллионов человек, трудящихся в самых разных областях, потеряют свое место работы. Таково влияние роботов и роботизированных систем на нашу жизнь. Для составления отчета сотрудники ВЭФ использовали данные о 13,5 млн. работников из различных стран мира. Согласно их данным, к 2020 году суммарно пропадет потребность в более чем 7 миллионах рабочих мест, тогда как ожидаемый рост занятости в других отраслях составит всего чуть более 2 миллионов рабочих мест.
Источники информации:
http://www.ridus.ru/news/209869
http://www.vedomosti.ru/technology/articles/2015/01/13/ugrozy-iskusstvennogo-razuma
https://nplus1.ru/news/2016/01/19/they-took-our-jobs
http://ru.sputnik.kg/world/20151013/1019227239.html
Когда люди наблюдают за техникой, которая ведёт себя подобно человеку и компьютерами, которые обрабатывают титанические объёмы данных, возникает немало мыслей о будущем. Приличная их часть основана на теме порабощения человеческой расы.
Научно-фантастическая литература и кинематограф от «2001: Космическая одиссея» (1968) до «Мстители: Эра Альтрона» (2015) прогнозируют, что искусственный интеллект превзойдёт ожидания создателей и выйдет из-под контроля. Якобы его целью станет не просто конкуренция с человеком, а порабощение и истребление нашего вида.
Научная фантастика или страшное будущее?
Конфликт между людьми и искусственным интеллектом основная тема научно-фантастического сериала «Люди», третий сезон которого вышел в этом году. В новых эпизодах «синтетические» люди сталкиваются с враждебностью обычных людей, которые относятся к ним с подозрением, страхом и ненавистью. Насилие бушует. «Синты» воюют за свои основные права против тех, кто считает их нечеловечными.
Фантастика – крайность воображения. Но и в реальном мире не все желают встречать ИИ с распростёртыми объятиями. В последние годы границы воображаемых возможностей искусственного интеллекта активно раздвигаются. Люди все чаще говорят о его опасности. А предположения о том, что технологии способны обречь человечество, кажутся реальнее. Искусственный интеллект пугает нас.
Мнение об искусственном интеллекте
Илон Маск – один из самых заметных людей, которые призывают к осторожности, обсуждая ИИ. В июле прошлого года на встрече Национальной ассоциации губернаторов он сказал: «Я обладаю большим опытом работы с технологичными ИИ и думаю, что человечеству действительно необходимо об этом беспокоиться. Я продолжаю давать сигнал тревоги. Пока роботизированные машины не пойдут по улицам, уничтожая людей, мы не поймём, как на это реагировать, потому что такая перспектива воспринимается как нереальная».
В 2014 году, Маск называл искусственный интеллект «нашей самой большой экзистенциальной угрозой», а в августе 2017 заявил, что для человечества ИИ представляет больший риск, чем северокорейская идеология.
Величайший физик Стивен Хокинг также выражал беспокойство по поводу злоумышленного применения искусственного интеллекта. В 2014 году он сообщил BBC, что «развитие полноценного ИИ может стать предзнаменованием конца для человечества».
Ещё один удар нанесла команда программистов из MIT Media Lab в Кембридже, которая решила доказать, что ИИ опасен. Нейронная сеть Nightmare Machine («Машина кошмаров»), представленная в MIT в 2016 году, превратила обычные фотографии в ужасные демонические пейзажи. Искусственный интеллект под названием Shelly (так же разработан в MIT), сочинил 140 000 рассказов в жанре ужасов, которые пользователи Reddit публиковали на форуме r/nosleep.
«Нас интересует, как искусственный интеллект вызывает эмоции, конкретно в этой ситуации он спровоцировал страх» — прокомментировал эксперимент Мануэль Себриан, менеджер по исследованиям MIT Media Lab.
Почему мы боимся?
По мнению Килиана Вайнбергера, доцента кафедры информатики в Корнельском университете, негативные впечатления от искусственного интеллекта делятся на две категории:
Идея о том, что ИИ станет сознательно-независимым и попытается уничтожить нас.
Мнение, что злоумышленники будут использовать ИИ в своих целях.
«Искусственный интеллект пугает нас, потому что мы думаем, что супериндустриальный ИИ, став умнее человека, будет относиться к нему, как к низшему существу. Так же, как мы – к приматам. И это, конечно, крайне волнительно для человечества».
Однако Вайнбергер отмечает, что опасения по поводу превосходства и желания ИИ уничтожать расу базируются на неправильных представлениях об этой технологии. Искусственный интеллект впечатляет, когда мы видим его в действии. Но он имеет и массу ограничений. ИИ определяется алгоритмами. Они задают его поведение с помощью предписанных функций и не более того.
Нейронные сети выполняют сложные задачи с несколькими видами данных. Но большинство навыков, которыми человек обладает, даже не развивая их намеренно, для машинного интеллекта недоступны.
Искусственный разум может во много раз превзойти человека в выполнении специализированных работ. Например, игре в шахматы, идентификации объектов по изображению или большому анализу данных в бухгалтерии или банковском секторе.
У ИИ, который бы обладал самостоятельным сознанием, не будет такого прогресса, что он поработит человечество. И нет оснований считать, что подобный прогресс появится в скором будущем — добавляет Вайнбергер.
Но есть ещё одна тема о том, почему искусственный интеллект пугает нас – это использование возможностей ИИ людьми с плохими намерениями. Этот сценарий более реален и опасен.
Рационален ли наш страх?
В мире телесериала «Люди» человечество испытывает страх перед разумным ИИ и вступают в ожесточённую конфронтацию с ним. И, судя по популярности проекта, этот сюжет отвечает на актуальный запрос общества.
Боязнь технологий нельзя назвать необоснованной, поскольку определённый риск, безусловно, присутствует. Но опасность любого инструмента заключается в мыслях того, кто им управляет. Очевидно, именно этот вопрос необходимо решить человечеству, чтобы искусственный интеллект служил во благо.
На днях на Facebook развернулась очередная дискуссия о потенциальной опасности для человечества когнитивных технологий и всего искусственного интеллекта. Стоит сказать, что эта тема поднимается на протяжении всего периода ведения разработок в этой области, но в последнее время стала звучать заметно сильнее - и не только в России, но и во многих ведущих странах, включая США. Нельзя сказать, что ситуация там дошла до состояния истерики, но движение против искусственного разума с очевидностью набирает обороты. Кстати, возглавляют его отнюдь не самые последние в обществе люди. В их числе лауреат Нобелевской премии мира Джоди Уильямс, поднявшая в этом году мощную кампанию «Остановить роботов». И соучредитель Skype Джаан Таллинн. При его участии в прошлом году в Кембридже был создан научный Центр по изучению угроз существованию человечества (Centre for the Study of Existential Risks). В списке четырех потенциальных угроз, стоящих перед человечеством, специалисты, в число которых входят известные ученые, философы и инженеры, поставили искусственный интеллект, изменение климата, ядерное оружие и биотехнологии (возможность создания искусственной жизни).
Однако не надо думать, что причиной для беспокойства специалистов и экспертов самого высокого уровня является точка зрения на то, что искусственный разум в будущем поглотит человечество. Основным катализатором всеобщей тревоги становятся все чаще проявляющиеся случаи превосходства искусственного разума над естественным.
Стоит сказать, что первые озабоченные подобным развитием событий голоса прозвучали еще в середине 1990-х, когда серьезный прорыв произошел в сфере интеллектуальной обработки информации и умные машины научились понимать содержание отдельных типов документов в своей массе лучше человека. Они умело разбирали документы, заменяя интеллект если не сотен, то десятков секретарей и операторов на отечественных предприятиях. Затем появились программы, способные разбираться в содержании больших архивов и делать на их основе соответствующие выводы и прогнозы. Самым же наглядным случаем превосходства техники, безусловно, стал проигрыш Гарри Каспарова компьютеру Deep Blue.
Сегодня мы уже имеем машины, которые действуют успешнее человека в шахматах, вождении автомобиля, понимании документов, финансовом трейдинге, распознавании лиц, речи и текста. Интернет кишит всевозможными ботами и инфами, способными давать комментарии по конкретным ситуациям и поддерживать беседу. Появились даже роботизированные системы документооборота, способные понимать, в какую внешнюю среду их устанавливают и адаптироваться под нее. Кстати, именно такая российская система «Е1 Евфрат» и стала объектом нападок со стороны отдельных пользователей интернета. Больше всего их обеспокоило то, что когнитивная система, использующая, в частности, алгоритмы самообучения, сможет самостоятельно развить деятельность в информационном пространстве организации и нанести ему урон. Конечно, у специалистов подобная постановка вопроса, как правило, вызывает улыбку. В системе «Е1 Евфрат» процесс самообучения происходит на локальном уровне и никаких шансов выйти из-под контроля у него нет. Таким же образом можно предположить, что ошибки, не замеченные, например, в бухгалтерской программе, способны разрушить жесткий диск, на котором она установлена.
Но в целом озабоченность общественности не удивляет. Подобных дискуссий нам не избежать, и по мере совершенствования технологий искусственного интеллекта они будут только учащаться и оживляться. Что говорить, когда сам Пентагон был вынужден прореагировать на принимающие массовый характер протесты американской общественности, обеспокоенной тем, что военные роботизированные аппараты начнут принимать критически важные решения самостоятельно. В итоге заместитель министра обороны США Эштон Картер даже выступил с заявлением гарантий того, что ни один из роботизированных военных аппаратов не будет принимать решения о нанесении вреда человеку.
И все же опасаться человечеству не стоит ни сегодня, ни в обозримом будущем. Вся обеспокоенность активистов лежит скорее в общественной плоскости, чем в научной или практической. Деятельность британского Центра изучения глобальных рисков, собственно, подтверждает, что такие же вопросы и настроения возникают и в других сферах жизни. Это обычная составляющая любого процесса развития. Главное, что является неопровержимым фактом, - это реальная эффективность применения систем с искусственным интеллектом. И многие, в том числе глобальные, проблемы, стоящие перед нами, как, например, Bigdata-обработка огромных объемов информации, накопленной человечеством, как и многие другие, без систем искусственного интеллекта не решить.
