Представьте: вы придумали самообучаемую машину, которая собирает клубнику. Она с каждым днем собирает ее все лучше и лучше, все больше и больше. Ей начинает нравиться собирать клубнику. Логично, что в какой-то момент ей захочется, чтобы на всей планете были сплошные клубничные поля. А теперь представьте, что вы собираетесь выключить такого робота, чтобы он не уничтожил человечество, пытаясь засадить все клубникой. Вы будете первым, кого он убьет.
Похожие цитаты
Скажите кому-нибудь, что вы собираетесь их ограбить, и все, что произойдет — заработаете репутацию правдивого человека.
— Что это?
[10 и 11 Доктора в оборону выставили звуковые отвертки]
— И снова наставили. Это отвертки! Что вы собираетесь делать – мебель собирать?
В ваших несчастьях виноваты только вы сами! Вы придумали их и осуществили собственными руками!
Пояснение к цитате:
Джастин у дантиста, где он увидел Джойс по телевизору.
Капиталисты боятся ИИ потому, что он ***ит всех капиталистов.
Те, кто изображают машины как активных врагов, лишь проецирует свои собственные доставшиеся в наследство от джунглей агрессивные инстинкты в мир, где их попросту не существует. Чем выше разум, тем сильнее стремление к сотрудничеству.
– Артур Кларк «Черты будущего»
... андроиды не могут убивать. Они так устроены.
Андроиды не могут портить и разрушать. Они не могут наносить вред.
– Альфред Бестер «Убийственный фаренгейт»
Искусственных людей не будет, потому что это не нужно.
Не будет и «бунта» мыслящих машин против человека.
В основе этой выдумки лежит иной древний миф – миф о Сатане. Но ни один Усилитель Интеллекта не станет Электронным Антихристом. Все эти мифы имеют общий антропоморфный «знаменатель», к которому якобы должны сводиться мыслительные действия машин.
– Станислав Лем «Сумма технологии»