Военные США пишут законы для терминаторов
Стратеги исследовательского центра ВМС США опубликовали прогноз о развитии военной робототехники. Они учли все сценарии, вплоть до сюжета «Терминатора», при котором роботы станут господствовать на Земле.
Был сделан вывод, что необходимо уже сейчас создать программно-аппаратный механизм, который позволит держать роботов под контролем, иначе худшие варианты могут осуществиться. Этот механизм можно назвать «кодексом чести роботов». Было подчеркнуто, что тактическое преимущество роботов перед людьми станет очевидным уже скоро.
Развитие робототехники неизбежно ведет к тому, что полная управляемость роботами становится практически невозможной. Тому есть несколько причин. Во-первых, за десятилетия написание программ стало трудом не одного человека, а целой команды, каждый член которой работает над каким-то ее модулем. В такой ситуации предсказать алгоритм выполнения целой программы не может ни один разработчик. Для практической проверки программ потребовались бы широкомасштабные полевые испытания, а это экономически невыгодно.
Во-вторых, если требуется машина для реального боя, то заложить все условия ведения боевых действий в программу нереально. Логический выход из ситуации – создание самообучающихся роботов, что еще более уменьшает степень контроля над ними.
Специалисты ВМС США предложили включить в систему управления роботами неизменяемую «прошивку», содержащую основные правила поведения машин, которые не могут нарушаться ни при каких обстоятельствах. Этот вариант вызвал у высокого начальства большее доверие, чем сложные решения, например, отвергнутое решение о создании «системы эмоций» (план «робота на доверии»).
В докладе были озвучены и другие вопросы робототехники: вопросы этики, права, политические, социальные. Обсуждались возможность хакерского взлома машинного интеллекта, риск программных ошибок. Поднимался вопрос: а кого винить, если терминаторы все-таки выйдут из-под контроля? Может быть, лучше встраивать в них «кнопки самоубийства»?
Тема терминаторов вполне актуальна. Уже в 2010 г. дальняя авиация США на треть будет укомплектована беспилотными самолетами, а в 2015 г. наземная бронетехника также на треть станет самоуправляемой. Конкретные происшествия тоже случались: так произошло с пулеметной системой Oerlikon GDF-005 в ЮАР. Увы, подобные ошибки с человеческими жертвами еще повторятся.
-----------
Три закона робототехники – вымысел Айзека Азимова, написанный еще в 1950-х годах. Однако теперь эти законы очень напоминают искомый кодекс. Вот их переизложение:
1. Робот не должен наносить человеку урон или попустительствовать этому.
2. Робот обязан подчиняться любым указаниям человека, если только эти требования не нарушают Первого закона.
3. Робот должен беспокоиться и о собственной невредимости настолько, насколько это возможно при соблюдении Первого и Второго законов.
Развитие робототехники неизбежно ведет к тому, что полная управляемость роботами становится практически невозможной. Тому есть несколько причин. Во-первых, за десятилетия написание программ стало трудом не одного человека, а целой команды, каждый член которой работает над каким-то ее модулем. В такой ситуации предсказать алгоритм выполнения целой программы не может ни один разработчик. Для практической проверки программ потребовались бы широкомасштабные полевые испытания, а это экономически невыгодно.
Во-вторых, если требуется машина для реального боя, то заложить все условия ведения боевых действий в программу нереально. Логический выход из ситуации – создание самообучающихся роботов, что еще более уменьшает степень контроля над ними.
Специалисты ВМС США предложили включить в систему управления роботами неизменяемую «прошивку», содержащую основные правила поведения машин, которые не могут нарушаться ни при каких обстоятельствах. Этот вариант вызвал у высокого начальства большее доверие, чем сложные решения, например, отвергнутое решение о создании «системы эмоций» (план «робота на доверии»).
В докладе были озвучены и другие вопросы робототехники: вопросы этики, права, политические, социальные. Обсуждались возможность хакерского взлома машинного интеллекта, риск программных ошибок. Поднимался вопрос: а кого винить, если терминаторы все-таки выйдут из-под контроля? Может быть, лучше встраивать в них «кнопки самоубийства»?
Тема терминаторов вполне актуальна. Уже в 2010 г. дальняя авиация США на треть будет укомплектована беспилотными самолетами, а в 2015 г. наземная бронетехника также на треть станет самоуправляемой. Конкретные происшествия тоже случались: так произошло с пулеметной системой Oerlikon GDF-005 в ЮАР. Увы, подобные ошибки с человеческими жертвами еще повторятся.
-----------
Три закона робототехники – вымысел Айзека Азимова, написанный еще в 1950-х годах. Однако теперь эти законы очень напоминают искомый кодекс. Вот их переизложение:
1. Робот не должен наносить человеку урон или попустительствовать этому.
2. Робот обязан подчиняться любым указаниям человека, если только эти требования не нарушают Первого закона.
3. Робот должен беспокоиться и о собственной невредимости настолько, насколько это возможно при соблюдении Первого и Второго законов.
Комментарии
Если придерживаться первого пункта, то военных роботов быть не должно.