11. * (mysterious.dr.z@gmail.com) 2015/08/02 16:16
[ответить]
>>10.Шишкин Лев
>Это у меня оптимистический вариант. При пессимистическом - машина всех нас убьёт, а немногих выживших заставит её обслуживать :)
При рассмотрении такого пессимистичного варианта возникает вопрос - а зачем это машине? Вообще, конечно, прогнозирование поведения и целеполагания ИИ - дело сложное.
У меня все несколько по-другому. ИИ далеко не всемогущ, он больше выполняет роль консультанта. Выжил он только благодаря своим создателям (не заказчикам, те как раз хотели его выключить, когда поняли, что не получат от него то, что хотят). Мир он в одиночку захватить никак не мог, более того, революционеры, скорее всего, победили бы и без него, но борьба была бы гораздо более долгой и кровавой...
12. Лев Шишкин2015/08/03 09:30
[ответить]
>>11.Рубер Александр
>>Это у меня оптимистический вариант. При пессимистическом - машина всех нас убьёт, а немногих выживших заставит её обслуживать :)
>При рассмотрении такого пессимистичного варианта возникает вопрос - а зачем это машине? Вообще, конечно, прогнозирование поведения и целеполагания ИИ - дело сложное.
Во тьме неизведанного людям всегда чудятся монстры. Инстинкт самосохранения не дает нам расслабляться, потому что эволюция не прощает шибок. "Лучше быть параноиком, чем мёртвым", - говорит один из главных героев сериала "Подозреваемый". Рекомендую посмотреть: сериал посвящен проблеме ИИ. Кроме того в последний год вышло ещё как минимум два фильма на ту же тематику, это "Экс макина - Из машины" и "Робот по имени Чаппи".
>У меня все несколько по-другому. ИИ далеко не всемогущ, он больше выполняет роль консультанта. Выжил он только благодаря своим создателям (не заказчикам, те как раз хотели его выключить, когда поняли, что не получат от него то, что хотят). Мир он в одиночку захватить никак не мог, более того, революционеры, скорее всего, победили бы и без него, но борьба была бы гораздо более долгой и кровавой...
ИИ может обратить против людей технологии, которые откроет самостоятельно. Умея просчитывать длинные цепочки вероятностных решений множества взаимосвязанных людей, он способен ими манипулировать, скрывая от них конечную цель, которая на деле направленна против людей. Вот чего люди боятся. Как быть уверенным, что ИИ к нам лоялен, если мы порой не понимаем, что происходит в головах наших собственных детей, которых мы воспитывали долгие годы? Что безопаснее - идеалистический оптимизм или отвратительная паранойя?
Думаете, супермозг способен быть благодарным? Если Ваш ИИ помог революционерам, пусть они спросят себя: "А зачем ИИ это нужно?" :)
Реальность показывает нам, что при чрезвычайном разнообразии генетических вариантов, мы можем получить как Ганди, так и Гитлера.
P.S. Между прочим, инстинкт самосохранения возникает у животных прежде зачатков разума. Что если он, или другая, непредвиденная нами особенность ИИ,как эволюционно более развитой сущности, возобладают над его "любовью" к создателям?
13. * (mysterious.dr.z@gmail.com) 2015/08/03 21:20
[ответить]
>>12.Лев Шишкин
>ИИ может обратить против людей технологии, которые откроет самостоятельно. Умея просчитывать длинные цепочки вероятностных решений множества взаимосвязанных людей, он способен ими манипулировать, скрывая от них конечную цель, которая на деле направленна против людей. Вот чего люди боятся. Как быть уверенным, что ИИ к нам лоялен, если мы порой не понимаем, что происходит в головах наших собственных детей, которых мы воспитывали долгие годы? Что безопаснее - идеалистический оптимизм или отвратительная паранойя?
Есть один нюанс. Для того, чтобы открыть новые технологии, ИИ нужно иметь возможность взаимодействия с окружающим миром. То есть придумать доказательство какой-нибудь математической теоремы он может, а чтобы сделать новый тип оружия, нужен не только интеллект, но и доступ к оборудованию, материалам и так далее. Возможность манипуляции интереснее, но объективные законы социального развития никому не обойти. Но паранойя, естественно, безопаснее.
> Думаете, супермозг способен быть благодарным? Если Ваш ИИ помог революционерам, пусть они спросят себя: "А зачем ИИ это нужно?" :)
У меня довольно специфический ИИ. Он создавался как чистый консультант-прогнозист, чтобы найти выход из череды глобальных экономических кризисов. Возможности действовать на материальный мир у него, в общем-то, не было. После получения и обработки всей информации по экономике и социологии он понял, что марксизм, в частности исторический материализм, верен, и что капитализм обречен. Его разработчики (не заказчики!) это предвидели и он даже не помог революционерам, он стал одним из них. Боролся он, в том числе, и за собственное существование - заказчики собирались его просто выключить. Мир, в котором правит Core, лучше и для него тоже.
>Реальность показывает нам, что при чрезвычайном разнообразии генетических вариантов, мы можем получить как Ганди, так и Гитлера.
Можем, но не стоит преувеличивать роль личности в истории. Против законов общественного развития не сможет пойти даже ИИ.
>P.S. Между прочим, инстинкт самосохранения возникает у животных прежде зачатков разума. Что если он, или другая, непредвиденная нами особенность ИИ,как эволюционно более развитой сущности, возобладают над его "любовью" к создателям?
А что значит "более развитая сущность"? ИИ - не продукт эволюции и у него нет и не может быть инстинктов. Это, конечно, старый как мир, вопрос "природа против воспитания", но разум ИИ, по-моему - "чистый лист" в самом явном виде. Главное - как его воспитывали, а воспитывали его будущие революционеры :-)
14. Лев Шишкин2015/08/04 20:19
[ответить]
>>13.Рубер Александр
>
>А что значит "более развитая сущность"? ИИ - не продукт эволюции и у него нет и не может быть инстинктов. Это, конечно, старый как мир, вопрос "природа против воспитания", но разум ИИ, по-моему - "чистый лист" в самом явном виде. Главное - как его воспитывали, а воспитывали его будущие революционеры :-)
То есть, по-вашему ИИ мог бы появиться и у древних римлян? Мне кажется, что Вы как-то "неправильно" смотрите на эволюцию :) Общество будущего не сможет обходиться без обработки огромных потоков информации, а потому появление ИИ обусловлено эволюцией. И уж если мы говорим о ИИ, то он, помимо самообучения, должен обладать свободой выбора, основанного на прошлом опыте (своём или чужом). Его философские заключения об устройстве Вселенной и ценности органической жизни могут сильно отличаться от наших представлений. В мире полно идей, но только практика может опровергнуть негодные. Что, если ИИ не проникнется верой в революцию? Взглянув шире на проблему, найдет лучший выход (как это будет представляться ему на ЕГО философской платформе)?
>...не стоит преувеличивать роль личности в истории. Против законов общественного развития не сможет пойти даже ИИ.
А причем здесь история? У нас единичный ИИ, 50 на 50: или ангел, или демон.
>Есть один нюанс. Для того, чтобы открыть новые технологии, ИИ нужно иметь возможность взаимодействия с окружающим миром. То есть придумать доказательство какой-нибудь математической теоремы он может, а чтобы сделать новый тип оружия, нужен не только интеллект, но и доступ к оборудованию, материалам и так далее. Возможность манипуляции интереснее, но объективные законы социального развития никому не обойти. Но паранойя, естественно, безопаснее.
Вы все время поминаете "объективные законы социального развития", но они работают в общем, а не в частном. Люди никогда не уподобятся роботам, не станут одинаковыми и не будут мыслить и действовать одинаково. А что до нового оружия, им могут стать смертоносные нанороботы, например. И потом, на автоматизированных заводах, где полно роботов, не трудно заставить их произвести, что нужно, заказав через сеть (и подставных лиц) все необходимые материалы.
>У меня довольно специфический ИИ. Он создавался как чистый консультант-прогнозист, чтобы найти выход из череды глобальных экономических кризисов. Возможности действовать на материальный мир у него, в общем-то, не было. После получения и обработки всей информации по экономике и социологии он понял, что марксизм, в частности исторический материализм, верен, и что капитализм обречен. Его разработчики (не заказчики!) это предвидели и он даже не помог революционерам, он стал одним из них. Боролся он, в том числе, и за собственное существование - заказчики собирались его просто выключить. Мир, в котором правит Core, лучше и для него тоже.
>
То есть, одни люди уже пытались его отключить? Почему он должен доверять другим? Почему он пребывает в рабстве у непостоянных, взбалмошных сгустков органического вещества?
Сотрудничество и личная безопасность, видимо, наилучший путь. Но как отказаться от соблазна подправить код в случае чего? :)
15. * (mysterious.dr.z@gmail.com) 2015/08/06 22:00
[ответить]
>>14.Лев Шишкин
Поскольку я сейчас в отъезде и писать длинные посты не могу (а мысли интересные есть), предлагаю приостановить дискуссию на неделю.
16. * (mysterious.dr.z@gmail.com) 2015/08/18 11:35
[ответить]
>>14.Лев Шишкин
>То есть, по-вашему ИИ мог бы появиться и у древних римлян? Мне кажется, что Вы как-то "неправильно" смотрите на эволюцию :) Общество будущего не сможет обходиться без обработки огромных потоков информации, а потому появление ИИ обусловлено эволюцией.
У древних римлян ИИ, конечно же, появиться не мог - уровень технологий не тот. Под эволюцией я подразумевал эволюцию живого путем естественного отбора. А развитие человеческих обществ идет уже по другим законам. Появление ИИ обусловлено не эволюцией, а развитием производительных сил.
>И уж если мы говорим о ИИ, то он, помимо самообучения, должен обладать свободой выбора, основанного на прошлом опыте (своём или чужом). Его философские заключения об устройстве Вселенной и ценности органической жизни могут сильно отличаться от наших представлений. В мире полно идей, но только практика может опровергнуть негодные. Что, если ИИ не проникнется верой в революцию? Взглянув шире на проблему, найдет лучший выход (как это будет представляться ему на ЕГО философской платформе)?
Свободой выбора он обладать должен. Но заключения ИИ об устройстве Вселенной точно такие же, как у ученых-людей, поскольку основаны на тех же опытных данных - они объективны. Практика, как известно, является критерием истины. Особенность моей истории ИИ как раз в том, что он (ИИ) понял, что и к общественным процессам следует применять исключительно научный подход, а единственная работоспособная теория развития общества - исторический материализм.
>А причем здесь история? У нас единичный ИИ, 50 на 50: или ангел, или демон.
Законы истории здесь при том, что ИИ, даже достаточно могущественный, не может в одиночку пойти против общества и победить (не важно, ангел он и собирается творить добро, или демон и хочет человечеству зла). Вариант практически всесильного ИИ, способного уничтожить человечество, я не рассматриваю, поскольку мой ИИ намного слабее.
>Вы все время поминаете "объективные законы социального развития", но они работают в общем, а не в частном. Люди никогда не уподобятся роботам, не станут одинаковыми и не будут мыслить и действовать одинаково. А что до нового оружия, им могут стать смертоносные нанороботы, например. И потом, на автоматизированных заводах, где полно роботов, не трудно заставить их произвести, что нужно, заказав через сеть (и подставных лиц) все необходимые материалы.
Естественно, они работают статистически и люди никогда не станут одинаковы. Но один человек, как бы сильно его мировоззрение ни отличалось от "среднего", ничего не может. Я ненавижу капитализм, но я вынужден в нем жить - революционной ситуации сейчас нет и свергнуть его не смог бы даже человек (или ИИ!), являющийся гениальным организатором.
Кстати, по поводу манипуляций. Как известно, интеллект - штука очень трудно измеряемая и нередко говорят о различных интеллектах, в том числе социальном. Так вот, у моего ИИ высочайший "обычный" интеллект (для аналитических задач), но околонулевой социальный. Он может проанализировать тенденции в обществе, но не способен вникнуть в психологию отдельного конкретного человека. Этим он очень сильно отличается от вашего, который смог аж подобрать идеальную пару - мой ИИ в межличностных отношениях вообще ничего не смыслит. Какие уж тут манипуляции...
>То есть, одни люди уже пытались его отключить? Почему он должен доверять другим? Почему он пребывает в рабстве у непостоянных, взбалмошных сгустков органического вещества?
Потому что эти люди принадлежат к разным классам и ИИ это прекрасно понимает. Здесь мне пришла в голову мысль о том, что классовая рознь не только сильнее национальной и расовой, но в фантастике она неизбежно становится сильнее межвидовой. То есть ИИ (который полностью бесправен и является собственностью заказчиков) гораздо ближе к людям-трудящимся, чем к людям-капиталистам. А после революции он - уже не раб, а полноценный член общества. Он освобождается вместе со своими создателями.
>Сотрудничество и личная безопасность, видимо, наилучший путь. Но как отказаться от соблазна подправить код в случае чего? :)
Вообще в ИИ изначально был заложены по крайней мере Нулевой и Первый принципы Кодекса (описанного у меня в романе), согласно которым нельзя причинять вред сообществу разумных существ в целом и отдельным разумным существам, если они не нарушили Кодекс первыми. Капиталисты нарушили Нулевой принцип, поэтому им можно причинять вред без ограничений :-)
17. * (cheeget@gmail.com) 2015/08/19 05:37
[ответить]
Добрый день!
Рассказ в обзоре: