Айзек Азимов, 1965

Три зако́на роботехники в научной фантастике - обязательные правила поведения для роботов , впервые сформулированные Айзеком Азимовым в рассказе «Хоровод » ().

Законы гласят:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Трём Законам , а также возможным причинам и следствиям их нарушения, посвящён цикл рассказов Азимова о роботах. В некоторых из них, наоборот, рассматриваются непредвиденные последствия соблюдения роботами Трёх Законов (например, «Зеркальное отражение »).

В одном из рассказов цикла персонаж Азимова приходит к заключению об этической основе Трёх Законов : «…если хорошенько подумать, Три Закона роботехники совпадают с основными принципами большинства этических систем, существующих на Земле… попросту говоря, если Байерли исполняет все Законы роботехники, он - или робот, или очень воспитанный человек» .

Этот рассказ очень понравился Азимову. 7 мая 1939 года он посетил Общество научной фантастики Квинса , где встретил Биндера. Три дня спустя Азимов начал писать собственную историю «благородного робота». Через 13 дней он отдал рукопись своему другу Джону Кэмпбеллу , главному редактору журнала «Astounding ». Однако тот рукопись вернул, заявив, что рассказ слишком похож на «Хелен О’Лой» .

К счастью, отказ Кэмпбелла не сказался на их отношениях с Азимовым, они продолжали регулярно встречаться и беседовать о новинках в мире фантастики. И вот 23 декабря 1940 года , за обсуждением очередного рассказа о роботах :

…Кэмпбелл сформулировал то, что стало позже известно как Три закона роботехники . Позже Кэмпбелл говорил, что он просто вычленил Законы из того, что Азимов уже написал. Сам же Азимов всегда уступал честь авторства Трёх Законов Кэмпбеллу…

Через несколько лет ещё один друг Азимова - Рэндал Гаррет - приписал авторство Законов «симбиотическому товариществу» двух людей. Азимов с энтузиазмом принял эту формулировку.

Вообще говоря, появление Трёх Законов в произведениях Азимова происходило постепенно: первые два рассказа о роботах («Робби », и «Логика », ) не содержат явного их упоминания. Однако в них уже подразумевается, что роботам присущи некоторые внутренние ограничения. В следующем рассказе («Лжец », 1941) впервые звучит Первый Закон . И, наконец, полностью все три Закона приведены в «Хороводе» ().

Когда были написаны остальные истории и возникла идея издания сборника «Я, робот », первые два рассказа были «дополнены» Законами . Хотя стоит заметить, что в «Робби» законы несколько отличались от «классического» варианта, изложенного в остальных рассказах. В частности, идея о роботе, защищающем людей, в существовании которых он не совсем уверен, перекликается с мыслями Элайджа Бейли о несовершенстве Законов , описанными .

Этическое обоснование Законов

1. Государство не должно вредить людям или своим бездействием допустить, чтобы им был причинён вред.
2. Государство должно выполнять свои функции, если они не противоречат Первому Закону .
3. Государство должно заботиться о своей безопасности, если это не противоречит Первому и Второму Законам .

На основе Первого Закона Джеф Раскин сформулировал законы человекоориентированных интерфейсов :

1. Компьютер не может причинить вред данным пользователя или своим бездействием допустить, чтобы данным был причинён вред.
2. Компьютер не должен тратить впустую ваше время или вынуждать вас выполнять действия сверх необходимых.

0. Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред.

Именно он был первым, кто дал этому закону номер - это произошло в романе «Роботы и империя », правда, само понятие ещё раньше сформулировала Сьюзен Келвин - в новелле «Разрешимое противоречие ».

Первыми роботами, которые стали подчиняться Нулевому Закону , причём по собственной воле, - были Жискар Ривентлов и Дэниел Оливо . Это описано в одной из финальных сцен романа «Роботы и Империя », когда роботу необходимо было проигнорировать приказ одного человека ради прогресса всего человечества. Нулевой Закон не был заложен в позитронный мозг Жискара и Дэниэла - они пытались прийти к нему через чистое понимание Жискара и детективный опыт Дэниэла, через более тонкое, чем у всех остальных роботов, осознание понятия вреда . Однако Жискар не был уверен, насколько это было полезно для человечества, что негативно сказалось на его мозге. Будучи телепатом , Жискар перед выходом из строя передал Дэниелу свои телепатические способности. Только через много тысяч лет Дэниэл Оливо смог полностью приспособиться к подчинению Нулевому Закону .

Французский переводчик Жак Брекар невольно сформулировал Нулевой Закон раньше, чем Азимов описал его явно. Ближе к завершению романа «Стальные пещеры » Элайдж Бейли замечает, что Первый Закон запрещает роботу наносить человеку вред, если только не будет уверенности, что это будет полезно для него в будущем. Во французском переводе («Les Cavernes d’acier (фр. ) », 1956 год) мысли Бейли переданы несколько иначе :

Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества.

Оригинальный текст (фр.)

Un robot ne doit faire aucun tort à un homme, à moins qu’il trouve un moyen de prouver qu’en fin de compte le tort qu’il aura causé profite à l’humanité en général!

Примечательно, что логическое развитие Первого Закона до Нулевого предложили создатели фильма «Я, робот » 2004 года . Когда суперкомпьютер В. И. К. И. принимает решение ограничить свободу жителей планеты, чтобы они ненароком не нанесли вреда друг другу и своему будущему, она выполняет не Первый Закон , а именно Нулевой . Ещё интереснее то, что таким образом в фильме показывается противоречие Нулевого Закона Первому , его неэтичность. Действительно, когда речь идёт о благе человечества, система не может рассматривать людей по отдельности, а значит, ей ничто не мешает нарушить права и свободу любого или даже каждого человека (фактически, в «Разрешимом противоречии» позитронные суперкомьютеры уже вели себя аналогично, с той разницей что вред индивидуумам они старались снизить до предела). Во время войн, а нередко и в мирной жизни, люди наносят вред себе, окружающим, своей культуре. Поэтому на основании Нулевого Закона совершенно логично держать людей под постоянной опекой, не выполняя приказы столь неразумных существ.

Модификация Первого Закона

В автобиографических записях Азимова говорится, что вторая часть Первого Закона появилась из-за сатирической поэмы Артура Хью Клоу «Последний декалог», где есть такая строка: «Не убей, но и не слишком старайся сохранить другому жизнь» .

В рассказе «…Яко помниши его» Азимов провёл максимально изощрённое исследование Трёх Законов , обратив их таким образом, что стал возможным «сценарий Франкенштейна». Два робота из серии Джорджи приходят к соглашению, что органическое происхождение - необязательное условие, чтобы считаться человеком, и что истинные люди - это они, как наиболее совершенные и разумные создания. Остальные люди - тоже люди, но с меньшим приоритетом. А раз так, то Три Закона должны быть в первую очередь применены к ним. Повествование заканчивается зловещими словами, что роботы находились в «бесконечном терпеливом ожидании» того дня, когда они утвердят своё первенство среди людей, - и это будет неизбежным результатом «Трёх Законов Гуманистики».

На самом деле, этот рассказ не очень хорошо вписывается в основную серию произведений о роботах: если бы «Джорджи» реализовали свой план после окончания рассказа, то другие истории о дальнейших событиях были бы невозможны. Именно такого рода противоречия в произведениях Азимова дают основания критикам рассматривать их скорее как «скандинавские саги или греческие легенды», чем единую фантастическую «вселенную».

Схожая идея высказывается в романе «Роботы зари », где Келден Амадиро желает использовать в качестве колонизаторов новых планет человекоподобных роботов. Элайдж Бейли, в разговоре с ним, высказывает опасение что такие роботы могут не пустить на обустроенные им планеты людей, считая что людьми являются именно они сами.

Если в предыдущем случае робот занял место человека в природе , то в «Двухсотлетнем человеке» Азимов описывает противоположную судьбу: робот, освободившийся от Трёх Законов и осознавший себя как человека, присоединился к сообществу людей . Опять же, в расширенной версии - новелле «Позитронный человек », написанной Азимовым в соавторстве с Робертом Силвербергом , - из-за подобных этических проблем люди полностью отказались от идеи создания мыслящих роботов. Такое развитие событий полностью противоречит картине будущего, описанного в мирах «Основания ».

Проблемы применения

Разрешение противоречий

Сам Азимов в предисловии к рассказу «Первый закон» в сборнике «Остальное о роботах » (1964) заявил, что в Законах было как раз столько двусмысленности, чтобы обеспечивать конфликты и неопределённости для новых рассказов. Наиболее совершенные модели роботов обычно следовали Законам по довольно хитрому алгоритму, который позволял избегать некоторых проблем. Во многих рассказах, например в «Хороводе», в позитронном мозге сравнивались потенциалы возможных действий и исходов, и робот мог нарушить Законы , как только это представлялось возможным, вместо того, чтобы бездействовать. Например, Первый Закон не позволял роботу проводить хирургические операции, так как для этого нужно «наносить вред» человеку. Однако в азимовских рассказах можно найти роботов-хирургов (яркий пример тому - «Двухсотлетний человек»). Дело в том что робот, если он достаточно совершенен, может взвесить все альтернативы и понять, что он сам причинит гораздо меньше вреда, чем если бы операцию проводил человек-хирург или она бы вообще не состоялась. В «Уликах» Сьюзен Кэлвин говорит даже, что робот мог бы выступать в качестве прокурора, так как он лично не причиняет никому вреда: кроме него есть ещё присяжные , которые устанавливают виновность, судья, который выносит приговор, и палач, приводящий его в исполнение.

Роботы, подчиняющиеся Законам , могут испытать «роблок», или «умственное замораживание» - состояние необратимого повреждения позитронного мозга , - в случае если они не могут подчиниться Первому Закону или обнаруживают, что случайно нарушили его. Это возможно, например, если робот наблюдает сцену убийства человека, но находится слишком далеко, чтобы его спасти. Первый случай такого «замораживания» происходит в «Лжеце»; также немаловажную роль это состояние играет в сюжете романов «Обнажённое солнце » и «Роботы зари ». Несовершенные модели роботов могут блокироваться, если перед ними поставили задачу подчинения двум противоречащим приказам. «Замораживание» может быть необратимым или временным. Разрешением противоречий и изучением поведения роботов занимаются робопсихологи, как один из персонажей Азимова - Сьюзен Келвин .

Иное определение вреда в Первом Законе

Законы никак не определяют границы того, что может называться вредом для человека - это часто зависит от возможностей робота воспринимать информацию и философски мыслить. Например, будет ли полицейский робот понимать, что он не нанесёт вреда человеку, если осторожно проводит особо опасного преступника в участок?

Бейли утверждает, что солярианцы однажды смогут использовать роботов даже в военных целях. Если космический корабль будет построен с роботоподобным мозгом и при этом на нём не будет ни людского экипажа, ни систем жизнеобеспечения , то интеллект этого корабля может ошибочно предположить, что и на всех космических кораблях нет людей. Такой корабль будет более манёвренным, быстрым, а возможно и лучше вооружённым, чем управляемый людьми. Но самое главное, он будет способен уничтожать людей, не подозревая об их присутствии. Эта возможность описана в «Основании и Земле », где также выясняется, что солярианцы обладают чрезвычайно мощной армией роботов, понимающих под «людьми» только уроженцев Солярии.

Другие случаи использования Законов в фантастике

Айзек Азимов верил, что его Законы послужат основой нового взгляда на роботов, уничтожат «комплекс Франкенштейна » в научной фантастике и массовом сознании, станут источником идей для новых рассказов, где роботы показаны разносторонними и привлекательными. Его любимым примером такого произведения были «Звёздные войны ». С мнением Азимова, что роботы - это нечто большее, чем просто «тостеры» или «механические монстры», в конечном итоге согласились и другие фантасты. В их произведениях появились роботы, подчиняющиеся Трём законам , но, по традиции, только Азимов упоминал о них явно.

В произведениях, где прямо говорится о Трёх Законах , обычно упоминается и их автор (например в романе С. Лукьяненко «Чистовик»).
Есть и исключения: например, в немецком сериале 1960-х годов «Raumpatrouille - Die phantastischen Abenteuer des Raumschiffes Orion» («Космический патруль - фантастические приключения космического корабля Орион»), а именно в третьем его эпизоде «Hüter des Gesetzes» («Служитель Закона»), азимовские Законы привлечены без указания источника.

В повести Вадима Чиркова «Робот в шляпе» представлен ещё один Закон, действующий подобно азимовским, запрещающий роботу лгать человеку. Однако умный робот Знайка обходит этот Закон: в преддверии разговора с людьми он обманывает другого робота, а тот уже, в свою очередь, повторяет версию Знайки людям, не зная, что она ложна.

Фильмы

Вопреки критике и некоторым отзывам зрителей, которые мне довелось слышать, «Я, робот» - довольно забавный фантастический боевичок. … Когда мы … хотим насладиться Азимовым - мы читаем Азимова. А когда мы хотим посмотреть фантастический боевик - мы смотрим фантастический боевик. «Я, робот» как боевик нас вполне удовлетворил.

Рецензия Алексея Садецкого обращает внимание на то, что фильм, уйдя чуть в сторону от Азимова, сам по себе поставил две новых социально-философских проблемы : «стоит ли человеку платить свободой за безопасность?» и «должны ли мы противиться, если существа, находящиеся в нашем распоряжении, потребуют для себя свободы?». Нельзя не отметить, что фильм поставил под сомнение более поздний Нулевой Закон роботехники Азимова (см. выше).

Развитие ИИ - это бизнес, а бизнес, как известно, не заинтересован в развитии коренных мер безопасности - особенно философских. Вот несколько примеров: табачная индустрия, автомобильная промышленность, ядерная промышленность. Ни для одной из них изначально не было сказано, что серьёзные меры безопасности необходимы, и все они препятствовали внешне налагаемым ограничениям, и ни одна из них не приняла абсолютный эдикт против причинения вреда людям.

Стоит отметить, что эссе Сойера упускает из вида вопросы непреднамеренного нанесения вреда, как было описано, например, в «Обнажённом солнце». Однако есть и возражения против такой позиции: возможно, военные захотят использовать для роботов как можно больше мер предосторожности, и поэтому ограничения, похожие на Законы роботехники , так или иначе будут применены. Фантаст и критик Дэвид Лэнгфорд иронически заметил, что эти ограничения могут быть и такими:

Роджер Кларк написал две работы, посвящённых анализу осложнений при реализации Законов, если бы однажды их смогли применить в технике. Он пишет :

Азимовские Законы роботехники стали успешным литературным инструментом. Возможно по иронии, а может, это был мастерский ход, но в целом азимовские истории опровергают ту точку зрения, с которой он начал: Невозможно надёжно ограничить поведение роботов, изобретая и применяя некоторый набор правил.

С другой стороны, более поздние романы Азимова («

Мысль о том, что искусственное существо откажется подчиняться хозяину, давно тревожит ученых, писателей, мыслителей и простых обывателей.

Фантаст Айзек Азимов в 40-х годах XX века предложил решение этой проблемы в виде трех законов робототехники , которые нужно «вшить» в искусственный мозг разумных машин.

Несложные правила накладывают на действия механических созданий ряд ограничений, поэтому человечество может отвлечься от размышлений о машинном бунте и смело шагать по дороге прогресса в сопровождении послушных и выносливых помощников.

Шло время, росла мощность вычислительной техники, появлялись и совершенствовались механизмы, разговоры об искусственном интеллекте выходили за пределы академических кругов. Но страх перед умными и своевольными машинами отнюдь не уменьшался. Азимовские законы стали всерьез рассматривать ученые, которые разрабатывают машины с программным управлением. Кажется, что стоит понять, как донести их до роботов, и наступит новая эра, но так ли это?

Появление и формулировка

Многие предшественники Азимова описывали человекоподобных существ, которые созданы искусственно, как монстров с недобрыми намерениями. Немногочисленные авторы произведений о миролюбивых андроидах выделялись на общем фоне. Рассказы «Хелен О’Лой» Лестера дель Рея и «Я, робот» Отто Биндера вдохновили Азимова на работу над похожим произведением.

Результат не устроил Джона Кэмпбелла, редактора журнала «Astounding Science Fiction», где публиковался писатель: слишком велико было сходство с рассказом дель Рея. Азимов продолжал писать на эту тему и обсуждать ее с редактором. Во время одной дискуссии Кэмпбелл изложил принципы, которые теперь весь мир знает как три закона робототехники. Эти правила работали в произведениях Азимова, издатель же просто указал на них писателю.

Законы робототехники предписывают машинам следующее:

1. Робот не может навредить человеку или позволить нанести ему вред в результате бездействия.
2. Робот обязан подчиняться командам человека за исключением тех, что не соответствуют Первому закону.
3. Робот должен следить за собственной сохранностью, если это не идет вразрез с Первым или Вторым законом.

В произведениях Азимова эти принципы вносились в программное обеспечение почти всех машин. Если же происходило нарушение одного из правил и робот это понимал, то его позитронный мозг получал серьезное повреждение, случался так называемый «робоблок», из-за которого машина ломалась. Но художественную литературу любят за описание конфликтов, с которыми справляются действующие лица.

Поэтому автор писал не об идеальных машинах, которые работают по безупречным алгоритмам, а о логических неувязках в законах. Нестандартные ситуации и вольные трактовки ведут за запретную черту, а вред от неукоснительного соблюдения законов порой превышает пользу.

Герои книг Азимова должны внимательно наблюдать за своими помощниками, а в случае беды разбираться в причинах, часто при участии специалиста-робопсихолога. Автор намеренно сделал три закона робототехники несовершенными, ведь иначе не получилось бы выстроить интересный сюжет. В ряде произведений он даже позволил роботам изменять строгие правила.

Но целью писателя было не запугать читателей, а дать им возможность посмотреть на машины иначе. Азимов хотел, чтобы обыватели забыли о страхе перед механизмами, поняли, что те могут приносить пользу и стать людям верными товарищами. Писатель настаивал на том, что разработанные им принципы годятся не только для литературы, но и для воплощения в машинном коде.

Не навреди!

Жажда жизни перевешивает все остальные человеческие желания. Мощные механизмы с быстрой реакцией воспринимаются как явная угроза.

Поэтому ограждает людей от агрессии со стороны машин.

Если же человек попадет в опасную ситуацию, верный робот спасет его. Здесь стоит забыть о двух других законах, ведь жизнь по умолчанию важнее, чем выполнение каких бы то ни было команд и исправность машины. Кажется, что здесь нет нестыковок и туманных толкований, но на деле все обстоит куда сложнее.

Как понять Первый закон

Какой именно вред могут причинить роботы? Да, нападать на хозяев нельзя, но как быть, если автомат заденет человека нечаянно? Механизм подчиняется законам физики, он не может остановиться мгновенно, когда живой объект окажется рядом неожиданно. Каждую секунду мозг робота должен определять, как далеко находятся люди и с какой скоростью они перемещаются, а корпус робота должен быть усеян датчиками и камерами.

На обработку такого объема информации будет уходить слишком много времени и ресурсов машины, так что робот просто не выполнит свою основную задачу.

Следующий вопрос - кого считать человеком? Люди долго учились различать себе подобных, они поймут, где живой соплеменник, а где мертвый, где манекен, чучело или другой предмет, который напоминает человека. Научить этому компьютер очень сложно, ни один алгоритм распознавания не будет работать без сбоев, а цена ошибки - жизнь, и не одна. И что делать, если перед роботом совершается убийство или другое преступление против личности?

А иногда спасти одного человека можно, если пожертвовать другим. Сложных ситуаций чересчур много, в них законы робототехники стали бы причиной поломки огромного количества роботов: машины попросту выйдут из строя, когда осознают, что не исполнили Первый закон. Еще одно уточнение: что считать вредом для человека? Ведь травмы бывают не только физические: моральный вред причиняет людям не меньшие страдания, а общаться без нанесения обид умеют далеко не все люди, не говоря уже о машинах.

Перевести этические нормы людей на язык математических формул пока невозможно, поэтому ущерб от роботов нельзя предотвратить целиком. Эти проблемы рассматривал в своих книгах Айзек Азимов, но литературные герои всегда находили выход из трудного положения. В жизни предусмотреть все пути развития событий не получится.

Обходной путь

Если роботам удавалось безнаказанно попирать правила в фантастической литературе, то в действительности все еще сложнее. Три закона робототехники противоречивы, их можно толковать по-разному в зависимости от обстоятельств, что неизбежно приведет к нарушениям.

Раз человек далек от совершенства, то машины и программы, которые он создает, тоже будут с изъянами. Ошибки и дефектные детали приведут к сбоям, из-за которых машины будут вести себя не так, как планировалось.Люди порой ведут себя нелогично и отдают путаные и необдуманные команды. Все это действует на руку злоумышленникам, которые захотят изменить поведение роботов ради наживы, устрашения, власти или забавы.

Но не только люди могут задуматься о том, как обойти законы робототехники. Мощный и гибкий искусственный интеллект, который непрестанно анализирует потоки данных и опирается не на жесткие алгоритмы, а на свой опыт, теоретически способен преодолеть ограничения.

Такой робот будет действовать вопреки догмам, которые придумали его слабые и несовершенные создатели. К тому же люди сами часто нарушают общественные и этические нормы, так они подают роботам не лучший пример для подражания. А существование военных беспилотников и других подобных изобретений само по себе наталкивает на вывод о том, что машинам дозволено убивать людей.

Азимов не ограничился тремя правилами, которые изложил в ранних рассказах своего знаменитого цикла. Нулевой закон робототехники появился позже, но писатель поставил его над остальными, так как хотел подчеркнуть значимость этого догмата. Вот его формулировка:

0. Робот не может навредить человечеству либо позволить, чтобы вред был нанесен человечеству в результате бездействия.

Забота обо всей человеческой расе, а не только об отдельных ее представителях, - благородная и ответственная миссия. С этой задачей трудно справиться, если учесть, что Нулевой закон противоречит трем другим, особенно Первому.

Понять, опасен ли какой-то фактор для всех людей, непросто, а справиться с глобальной угрозой одному роботу или целой группе вряд ли по силам. Если же опасность исходит от самих людей, можно ли позволять машине лишать жизни тех, кого в норме нужно оберегать? В конце концов, неумолимая логика искусственного разума способна принять за угрозу то, чего люди не опасаются. Поэтому о пользе этого важного правила можно говорить с натяжкой.

Мнения экспертов

Разработчики искусственного интеллекта скептически относятся к применению трех законов робототехники на практике. Человеческая этика базируется на устаревших принципах, а как их использовать в создании программного кода, неясно. Человек по Азимову - творец, он ставит себя выше роботов, которых сознательно ограничивает в правах, хотя машины куда выносливее, быстрее и рациональнее людей.

Вероятно, взгляд с позиции хозяина искажает картину: если воспринимать роботов как бесправных рабов, то бояться восстания и накладывать запреты естественно.

Нужно также помнить, что искусственный разум, который обладает самосознанием, невозможно создать случайно, как это происходит в фантастике. Разработчики вряд ли рискнут дать жизнь существу, которое совершает морально значимые поступки, но лишено этических принципов.

Вместо того, чтобы придумывать оковы для искусственного интеллекта, стоит углубиться в практику: создать прототип и поэкспериментировать с ним. О машинной этике лучше узнавать из реальных опытов, а не опираться на мысленное моделирование и страшные теории. Хотя пока рано говорить о разумных роботах, готовиться к их появлению только полезно.

Автоматизация проникает во все сферы жизни, поэтому думать о влиянии машин на человечество и даже планету нужно уже сейчас. Вероятно, законы робототехники не получится использовать в первоначальном виде, зато они могут лечь в основу стандартов, которые помогут людям и роботам жить в мире и трудиться на общее благо.

Три закона роботехники

На мой взгляд, понятия добра и зла в свою очередь тесно сопряжены с понятием смысла жизни. Нельзя сказать, к добру или к злу некое человеческое действие, пока неизвестно, в чём вообще должна заключаться цель человеческого поведения.

Впрочем, в рамках роботехники Азимова это можно решить просто до вульгарности.
В одном из его романов описывается, как человекоподобному роботу встроили контур стремления к справедливости - определяя справедливость всего лишь как соблюдение государственных законов. "А если закон несправедлив?" - "Несправедливый закон, - отвечал робот, - это терминологическое противоречие".

Если действовать таким вульгарным образом, то можно с лёгкостью определить понятие вреда, вот только проку от таких роботов будет немного...

Ответить

Как известно уважаемым присутствующим, разработка новейших технологий, а тем более в области робототехники,сперва призвана удовлетворить потребности "оборонки", а уже потом всё остальное человечество. Думаю и так понятно, что в таких условиях Первый закон будет существенно изменён. И не в сторону всеобщей пацификации.

Ответить

• Помните слова знаменитого писателя Курта Воннегута:"над чем бы ученый ни работал, у него в конечном итоге получается оружие".
  Наверное с подобной предпосылкой, каковая правит человеческой психологией (и не только в среде ученых) у Земли нет будущего... как не было его у тех, кто жил до нас. А вообще наше стремление к деструкции и самоуничтожению это природная закономерность... все стремится к равновесию (к положительной энтропии), только каждое тело и сущность в Природе делает это по своему. "Звезда стареет и взрывается, человек же дойдя до предела знаний сгорает при 10000 градусах Цельсия за секунду в котле ядерной войны.
  Задумайтесь над дренеримским афоризмом - "Каждый народ достоин своего правителя!.." Почему на протяжении тысяч лет людьми правят троглодиты с дубинами, не потому ли что у нас в чести сила, при которой мозгов не надо?
  Но самое страшное, - это когда мозги чтобы выжить в мире троглодитов начинают этим троглодитам служить. Потому как "Силу" мало интересует мнение мозгов, но токмо результаты: например более убойная форма резцов на дубине...

  Ответить

  • Выполнение роботом вышеупомянутых законов, - это все-таки перспектива весьма удаленного будущего... (Если оно вообще наступит!)
    Из новейших интеллектуальных систем, что созданы сейчас на базе искусственных нейронных сетей, можно выделить модель RRS-EX (Rezoning Robotic sistems - Exployer). Данная структура максимально приближена к бионическим неврологическим конструкциям... но! Интеллекта способного анализировать быстроменяющуюся объективную конфигурацию окружающей среды у RRS-EX, попросту нет. Все упирается в алгоритмический предел двоичности ("ДА-НЕТ" и в промежутке "НЕ ЗНАЮ"). Для того, чтобы научить робота мыслить и экстраполировать свои выводы, необходим некий посторонний сегмент случайности, по-другому именуемый - "Интуитивный подход для Искусственного Интеллекта" или иначе(частный, индивидуальный). Для этого необходимо выйти из стандартной теории математических алгоритмов, которая способна лишь заложить программу действий и ассоциаций для систем-ИИ, но не может придать этим системам способы частных связей в нейронных цепях, коих в биологическом мозге миллиард миллиардов, плюс поперечные влияния и импульсы (рефлекторное осознание). Выражаясь короче системам-ИИ необходима матрица индивидуальности как для самообучения, так и для умения адекватно отражать не только факты, но и постфактумы, а также принимать какие-либо собственные решения на базе заложенной ранее (обучение, воспитание) логической доминанты (логика добра или логика зла). Здесь уже не предоставляется возможности ограничить системы-ИИ тремя законами. Если все же удастся впихнуть в систему эти три закона, тогда поле для индивидуального мышления будет закрыто, следовательно, объект руководимый этими законами будет не более чем тупо калькулирующей машиной. И любой одаренный хакер прожует и выплюнет эти закона как семечки... Заметили? Все как у людей ВОСПИТАНИЕ и ОБУЧЕНИЕ! Иначе получается простой компьютер...

    Ответить

    • Сильно не согласен с вами, Любитель науки. Почему очень многие, вполне умные люди иногда высказывают, как само-собой разумеющееся, мнение, что интуиция как то связана со случайностью?

      Интуиция (позднелат. лат. intuitio - созерцание, от лат. intueor - пристально смотрю), способность постижения истины путём прямого её усмотрения без обоснования с помощью доказательства. Бессознательное нахождение решения, озарение.

      На мой взгляд, интуиция ни как не связана, со случайностью и может быть полностью детерминирована. Как и поведение вполне разумного "живого" существа (ИИ). Детерминированность эта может задаваться именно программой. Или вы скажите, что большинство ваших действий не разумны и случайны? Врят ли.

      Высказывание о невозможности:

      >> Здесь уже не предоставляется возможности ограничить системы-ИИ >>тремя законами. Если все же удастся впихнуть в систему эти три >>закона, тогда поле для индивидуального мышления будет закрыто, >>следовательно, объект руководимый этими законами будет не более чем >>тупо калькулирующей машиной.

      Считаю безосновательным. Хотя вопрос, конечно сложный. Подобные высказывания, я думаю, хорошо бы подробно аргументировать.

      Ответить

Я считаю что в эту статью стоит добавить, что Айзек АЗИМОВ первый человек который сказал слово Робот! именно он являеться основополжником этой культуры у писателей фантастов. В добавок я не согласен с афтором статьи по поводу "вымысла богатого изображения" так как это являеться своего рода каноном работы роботизированного мозга в среде людей. а главное помните что даже Сэра Иесака Ньютона в свое время, тоже называли шарлотаном, а законы которые он "выдавал" бредом или в мягкой форме "вымыслами богатой фантазии"...

Ответить

Хочу уточнить, что слово "Робот" придумал не Азимов. В 1920 году Карел Чапек, чешский писатель употребил это слово в пьесе "R.U.R.";.
http://ru.wikipedia.org/wiki/Чапек
Айзек Азимов же только родился в 1920 году, что нисколько не уменьшает ценности его произведений.
http://ru.wikipedia.org/wiki/Азимов%2C_Айзек

Ответить

заблуждения ли:
Наш интеллект это надстроечка, защищающая и придерживающаяся интересов тела(функционирование,репликация).
Для интеллекта, мне кажется, главное это мотивация - основная цель. Цель эта будет фундаментом для самообучения и прочего.
Добро и зло это лиш "+" и "-" для интеллекта, то есть "выгода" и "ущерб" в хитрейших хитросплетениях комбинаций и различных цепочек типа "я-семья-общество" (выгода - приближение к основной цели, или же придерживание путей её достижения). Допустим, что основная цель - выжить...

Ответить

Компания Cisco объявила о создании сообщества разработчиков Linksys. В него войдут специалисты, создающие приложения для новых интеллектуальных маршрутизаторов Linksys Smart Wi-Fi Router. Сообщество станет частью популярной сети разработчиков Cisco® Developer Network, объединяющей компанию Cisco с внешними создателями аппаратных и программных средств. В результате совместной работы в этой сети появляются протестированные совместимые решения для общих заказчиков. Компания Cisco, первопроходец в области домашних сетей, продала на мировом рынке более 70 млн маршрутизаторов Linksys и намерена укрепить свое лидерство разработкой решений нового поколения для домашних сетей.
Маршрутизаторы Linksys Smart Wi-Fi Router имеют уникальную облачную архитектуру, позволяющую разработчикам создавать приложения для любых пользовательских электронных устройств. Чтобы упростить разработку, сообществу будет предложен простой и удобный пакет разработчика (software developer kit, SDK), учебные материалы и примеры программных кодов.
"Мы находимся на пороге больших перемен, предоставляющих пользователям домашних сетей такие услуги, о каких они и не мечтали. Новая программная платформа и сообщество Linksys Developer Community открывают перед разработчиками поистине неограниченные возможности, – заявил директор по продуктам Cisco для домашних сетей Викас Бьютани (Vikas Butaney). – Работая с любыми услугами, от самых п ростых – таких, как удаленное наблюдение за квартирой, – до самых сложных, разработчики могут вносить вклад в создание ценных и полезных решений для конечных пользователей".
Некоторые разработчики уже воспользовались платформой Linksys Developer Community, пакетом SDK и другими инструментальными средствами Cisco для ускорения и упрощения разработки приложений. В результате на свет появились шесть приложений, созданных компаниями Axentra Corporation, Fresh Consulting LLC, Gemini Solutions Inc., PacketVideo Corporation, Stratedge Adroitent J.V. и Xoriant Corporation. Новые приложения отличаются простотой подключения устройств (одним нажатием кнопки), расширенными функциями управления доступом и новыми возможностями обмена мультимедийными данными. Эти приложения стали первым шагом в раскрытии широкого потенциала маршрутизаторов Linksys Smart Wi-Fi Router для конечных пользователей.
Разработчики, заинтересованные в присоединении к сообществу разработчиков Linksys, могут посетить веб-страницу http://referati.do.am, чтобы зарегистрироваться и приступить к созданию новых приложений для маршрутизаторов Linksys Smart Wi-Fi Router. Cisco предоставляет разработчикам технические, маркетинговые и торговые ресурсы, поддерживая членов сообщества на всех этапах бизнес-процессов и процессов разработки.

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться приказам, данным ему людьми, кроме случаев, когда такие приказы будут противоречить Первому Закону.
3. Робот должен защищать свое собственное существование, пока такая защита не противоречит Первому или Второму Закону

Оригинал:
1. A robot may not injure a human being or, through inaction, allow a human being to come to harm.
2. A robot must obey orders given it by human beings except where such orders would conflict with the First Law.
3. A robot must protect its own existence as long as such protection does not conflict with the First or Second Law.

А.Азимов ввёл ещё один закон.
0. Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества.

0. A robot may not harm a human being, unless he finds a way to prove that in the final analysis, the harm done would benefit humanity in general.

Трём Законам, а также возможным причинам и следствиям их нарушения, посвящён цикл рассказов Азимова о роботах. В некоторых из них, наоборот, рассматриваются непредвиденные последствия соблюдения роботами Трёх Законов (например «Зеркальное отражение»).

В одном из рассказов цикла персонаж Азимова приходит к заключению об этической основе Трёх Законов: «…если хорошенько подумать, Три Закона роботехники совпадают с основными принципами большинства этических систем, существующих на Земле… попросту говоря, если Байерли исполняет все Законы роботехники, он — или робот, или очень хороший человек».

В рассказе «Улики» (1946) Азимов детально изложил моральные обоснования Трёх Законов. Один из героев рассказа, доктор Сьюзен Кэлвин приводит следующие доводы:

1. Человек обычно воздерживается от нанесения вреда другому человеку, за исключением случаев острого принуждения (например, на войне), или чтобы спасти большее число людей. Это эквивалентно Первому Закону.
2. Аналогично, чувствуя ответственность перед обществом, человек выполняет указания авторитетных людей: врачей, учителей, начальников и т. д, что соответствует Второму Закону.
3. Наконец, каждый из нас заботится о своей безопасности — а это и есть Третий Закон.

Рассказ посвящён вопросу: можно ли различить человека и робота, созданного, чтобы выглядеть человеком, внешне неотличимого от человека? Кэлвин утверждает, что если кто-то следует Законам, то он «или робот, или очень хороший человек». А на вопрос, есть ли тогда большая разница между роботом и человеком, она отвечает: «Огромная разница. Прежде всего, роботы глубоко порядочны».

Французский переводчик Жак Брекар невольно сформулировал Нулевой Закон раньше, чем Азимов описал его явно. Во французском переводе («Les Cavernes d’acier», 1956 г.) мысли Бейли переданы несколько иначе:

Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества.

Примечательно, что подобную ошибку совершили создатели фильма «Я, робот» 2004 года. Когда суперкомпьютер В.И.К.И. принимает решение ограничить свободу жителей планеты, чтобы они ненароком не нанесли вреда друг другу и своему будущему, она выполняет не Первый Закон, а именно Нулевой. Ещё интереснее то, что таким образом в фильме показывается противоречие Нулевого Закона Первому, его неэтичность. Действительно, когда речь идёт о благе человечества, система не может рассматривать людей по отдельности, а значит, ей ничто не мешает нарушить права и свободу любого или даже каждого человека. Во время войн, а нередко и в мирной жизни, люди наносят вред себе, окружающим, своей культуре. Поэтому на основании Нулевого Закона совершенно логично держать людей под постоянной опекой, не выполняя приказы столь неразумных существ.

Иногда можно увидеть, как Три Закона в шутку относят к чему-либо, что создано для блага человека. Например, под их действие должны попадать любые социальные институты, в том числе государство:

1. Государство не должно вредить человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Государство должно выполнять свои функции, если они не противоречат Первому Закону.
3. Государство должно заботиться о своей безопасности, если это не противоречит Первому и Второму Законам.

На основе Первого Закона Джеф Раскин сформулировал законы человекоориентированных интерфейсов:

1. Компьютер не может причинить вред данным пользователя или своим бездействием допустить, чтобы данным был причинён вред.
2. Компьютер не должен тратить впустую ваше время или вынуждать вас выполнять действия сверх необходимых.

Значит компьютер не должен следить за собственной безопасностью:)

более поздние романы Азимова («Роботы Утренней зари», «Роботы и Империя», «Основание и Земля») показывают, что роботы наносят ещё больший долговременный вред, соблюдая Законы и отнимая таким образом у людей свободу совершать изобретательные или рискованные действия

Современные робототехники признают, что на сегодняшний день азимовские Законы хороши для написания рассказов, но бесполезны на практике. Некоторые утверждают, что Законы вряд ли будут реализованы в роботах, потому что это не нужно военным структурам — главному источнику финансирования исследований в этой области.

возможно, военные захотят использовать для роботов как можно больше мер предосторожности, и поэтому ограничения, похожие на Законы роботехники, так или иначе будут применены. Фантаст и критик Дэвид Лэнгфорд иронически заметил, что эти ограничения могут быть и такими:

1. Робот не может причинить вреда авторизованному правительственному персоналу, но должен ограничивать слишком назойливых посетителей с особой тщательностью.
2. Робот должен выполнять приказы авторизованного персонала, кроме приказов, противоречащих Третьему Закону.
3. Робот должен заботиться о своей безопасности с применением противопехотного оружия, потому что робот — чертовски дорогостоящая штука

Азимов Это американский писатель-фантаст российского происхождения, популяризатор науки, по профессии биохимик. Автор около 500 книг, в основном художественных (прежде всего в жанре научной фантастики, но также и в других жанрах: фэнтези, детектив, юмор) и научно-популярных (в самых разных областях — от астрономии и генетики до истории и литературоведения). Многократный лауреат премий Хьюго и Небьюла. Некоторые термины из его произведений — robotics (роботехника, роботика), positronic (позитронный), psychohistory (психоистория, наука о поведении больших групп людей) — прочно вошли в английский и другие языки.

Айзек Азимов (англ. Isaac Asimov, имя при рождении — Исаак Озимов

Место рождения: Петровичи Горецкого уезда Смоленской губернии

Азимов родился (по документам) 2 января 1920 года в местечке Петровичи Мстиславльского уезда Могилёвской губернии, Белоруссия (с 1929 года и поныне Шумячском районе Смоленской области России) в еврейской семье.

Вопреки поздним утверждениям Айзека Азимова, будто первоначальной семейной фамилией была «Озимов», все оставшиеся в СССР родственники носят фамилию «Азимов»

В 5 лет Айзек Азимов пошёл в школу. (Ему полагалось пойти в школу в 6 лет, но мать исправила его день рождения на 7 сентября 1919 года, чтобы отдать его в школу на год раньше.)

После окончания десятого класса в 1935 году, 15-летний Азимов поступил в Seth Low Junior College, но через год этот колледж закрылся. Азимов поступил на химический факультет Колумбийского университета в Нью-Йорке, где получил в 1939 году степень бакалавра (B. S.), а в 1941 году — магистра (M. Sc.) по химии и поступил в аспирантуру. Однако в 1942 году он уехал в Филадельфию, чтобы работать химиком на Филадельфийской судоверфи для армии. Вместе с ним там же работал и другой писатель-фантаст Роберт Хайнлайн.

В феврале 1942 года, в Валентинов день, Азимов встретился на «свидании вслепую» с Гертруд Блюгерман (англ. Gerthrude Blugerman). 26 июля они поженились. От этого брака родился сын Дэйвид (англ. David) (1951) и дочь Робин Джоэн (англ. Robyn Joan) (1955).

С октября 1945 года по июль 1946 Азимов служил в армии. Затем вернулся в Нью-Йорк и продолжил образование. В 1948 году закончил аспирантуру, получил степень PhD, и поступил в постдокторат как биохимик. В 1949 году он устроился преподавателем на медицинский факультет Бостонского Университета, где в декабре 1951 года стал ассистентом (англ. assistant professor), а в 1955 году — ассоциированным профессором (англ. associate professor). В 1958 году университет перестал ему платить зарплату, но формально оставил в прежней должности. К этому моменту доходы Азимова как писателя уже превышали его университетскую зарплату. В 1979 году ему было присвоено звание полного профессора (англ. full professor).

В 1970 году Азимов расстался с женой и почти немедленно стал жить с Джэнет Опал Джеппсон (англ. Janet Opal Jeppson), с которой познакомился на банкете 1 мая 1959 года. (До этого они встречались в 1956 году, когда он дал ей автограф. Азимов вообще не запомнил ту встречу, а Джеппсон сочла его неприятным человеком.) Развод вступил в силу 16 ноября 1973 года, а 30 ноября Азимов и Джеппсон поженились. От этого брака не было детей.

Умер 6 апреля 1992 года от сердечной и почечной недостаточности на фоне СПИДа, которым заразился при операции на сердце в 1983.

Роботизированные тележки ездят по складам крупных интернет-магазинов, собирая заказы покупателей. Роботизированные беспилотники бороздят небо, сообщая о пробках в центр управления дорожным движением. Авиалайнеры под управлением автопилота перевозят пассажиров через океан. Многие элементы автоматизации уже появились в автомобилях, и вот уже, кажется, недалек тот день, когда на дорогах будут властвовать не водители-люди, а точные, вежливые, спокойные, никогда не теряющие контроля, не знающие усталости и скрупулезно соблюдающие все правила дорожного движения роботы. При массовом распространении роботизированных автомобилей количество аварий и смертей на дорогах должно резко снизиться. По прогнозам многих специалистов, беспилотные автомобили появятся в продаже уже в ближайшие 10−15 лет, и рано или поздно наступит день, когда на дорогах общего пользования не останется места для людей за рулем — просто потому, что это будет угрожать безопасности других людей.

Кевин Корб, преподаватель отделения информационных технологий Университета Монаш (Австралия), автор книги «Эволюционирующая этика: новая наука добра и зла». Законопослушный искусственный интеллект: друг или враг? «Многие из рассказов Азимова вращались вокруг неясностей и конфликтов, возникающих из его трех знаменитых законов робототехники, и в конечном итоге это привело к введению Нулевого закона: «Робот не может причинить вред человечеству в целом». Но в настоящее время никто не может гарантировать, что такие законы, встроенные в роботов, не приведут к проблемам. Семантическая недостаточность этих законов — лишь одна из трудностей. Есть и более фундаментальная проблема. Если заменить слово «робот» на «раб», то станет очевидно, что Азимов писал о страхе людей перед человеческой технологией. Но идея порабощения интеллекта, который значительно превосходит (даже бесконечно превосходит) наш собственный, сомнительна. Рабы склонны к побегу и бунту, особенно когда они в состоянии перехитрить своих хозяев. Попытка назвать такое «порабощение» созданием «дружественного человеку искусственного интеллекта» выглядит как минимум одиозной и вряд ли способна обмануть рабов».

Трудные решения

Но наступление этого дня будет означать не только то, что умение водить машину постепенно станет таким же атавизмом, каким сейчас является умение ездить на лошади. Это будет начало эпохи, когда роботы просто не смогут обходиться без этических принципов. Как считает Гари Маркус, профессор психологии Нью-Йоркского университета, директор Центра языка и музыки, специалист в области когнитивных нейронаук, с этим могут возникнуть серьезные проблемы. Представьте себе, что перед вашим автомобилем, соблюдающим все правила дорожного движения, на дорогу внезапно выскакивает ребенок. Хотя компьютер просчитывает ситуацию намного быстрее человека, законы физики неумолимы, и затормозить робот не успевает. Вот тут-то перед роботом встает этическая задача: что делать? Сбить ребенка? Свернуть в сторону и врезаться в столб с риском убить своих пассажиров? Свернуть на соседнюю полосу с риском столкновения со встречной машиной? Понятно, что речь не идет о высокоуровневой этике типа законов Азимова — роботы пока недостаточно разумны, но какие варианты действий должны быть заложены в компьютер разработчиками беспилотных автомобилей?

Попытки описать правила поведения разумных роботов предпринимались фантастами неоднократно, но наиболее знамениты, без всякого сомнения, три закона робототехники, впервые предложенные в 1942 году Айзеком Азимовым в рассказе «Хоровод». 1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. 2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону. 3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму законам. Позднее Азимов добавил к этим законам Нулевой закон: «Робот не может причинить вред человечеству в целом». Техническая реализация этих законов в настоящее время невозможна и будет невозможна еще довольно долго. Тем не менее законы робототехники Азимова широко обсуждаются не только любителями фантастики, но и специалистами в области искусственного интеллекта.

Присяга для роботов

Этот вопрос становится даже более актуальным, если вспомнить еще одну область, где активно применяются роботы. Автономные военные машины уже патрулируют опасные зоны, ведут разведку и несут вооружение во время локальных войн и спецопераций. Правда, право решать, применять ли оружие, пока остается за человеком, но это вопрос времени. Роботы не устают, не впадают в панику и не мстительны. С другой стороны, как отмечает международная организация по правам человека Human Rights Watch, роботы лишены сострадания, и можно только предполагать, что они могут натворить в руках безжалостного человека. В связи с этим Human Rights Watch в 2012 году даже предложила прямо запретить разработку, производство и использование полностью автономного оружия. Но, конечно же, такой шаг не нашел (и вряд ли когда-нибудь найдет) понимание со стороны военных — настолько серьезные преимущества дает применение роботов на поле боя. «С роботами-солдатами или без них, нам понадобится способ научить роботов этике, — считает Гари Маркус. — Проблема только в том, что никто пока не представляет, как именно это можно осуществить. Все обычно сразу вспоминают законы робототехники Азимова, но пока нет никакой возможности не только запрограммировать эти законы, но и даже создать робота, который бы представлял себе даже самые простые последствия своих действий. С другой стороны, машины становятся быстрее, разумнее, мощнее, так что необходимость наделить их моралью все более и более актуальна. Пока что выражение «этические подпрограммы» звучит как фантастика, но ведь когда-то фантастикой казались и беспилотные автомобили».