Беспилотники получат "право на убийство"?
Почему он интересен? Как вы знаете, отечественные производители тоже пытаются создать "беспилотники", но пока у нас и в остальном мире они могут опираться только на разрешение опытной эксплуатации на ограниченном числе дорог общего пользования. Например, в США - на хайвеях в 4 штатах, в Германии - на участках двух автобанов, причем это касается машин с полуавтономным управлением: водитель в некоторых ситуациях лишь может снять руки с руля. Вместе с тем, технический прогресс в ближайшее время может позволить создать автомобили с автономным управлением V поколения (SAE 5). По определению у них водитель может находиться в кабине (и даже не за рулем), но его вмешательство в управление может потребоваться только в случае полного отказа системы. И здесь появляется много проблем. Даже юридических...
Сегодня мы рассмотрим единственный пункт документа - одиннадцатый: Ethical Considerations - "Этические соображения". Чтобы вам не лазить по ссылкам и не разбираться в 160-страничном документе, приведу пару абзацев п.11 на языке оригинала и толкование (кстати, HAV - это принятое обозначение "беспилотников"). Итак:
Three reasonable objectives of most vehicle operators are safety mobility and legality. In most instances, those three objectives can be achieved simultaneously and without conflict. In some cases, achievement of those objectives may come into conflict. For example, most States have a law prohibiting motor vehicles from crossing a double-yellow line in the center of a roadway. When another vehicle on a two-lane road is double-parked or otherwise blocking a vehicle's travel lane, the mobility objective (to move forward toward an intended destination) may come into conflict with safety and legality objectives (e.g., avoiding risk of crash with oncoming car and obeying a law). An HAV confronted with this conflict could resolve it in a few different ways, depending on the decision rules it has been programmed to apply, or even settings applied by a human driver or occupant.
Иными словами, для обеспечения мобильности и не в ущерб безопасности движения, "беспилотники" должны уметь... отступать от требований Правил дорожного движения. На самом деле - это правильно. И на картинке тоже пример со сплошной полосой, которую пришлось пересечь. Хотя это Германия. Однако, как понимаете, если этого разрешения не будет, машина SAE 5 будет стоять, пока не уберут прицеп...
Перед следующим абзацем небольшое отступление. Недавно по радио слушал выступление некой пресс-секретарки одно российского производителя автономных систем управления. Дама с гордостью сказала, что наши "беспилотники" будут тормозить даже перед перебегающей собакой, чего европейские не делают. К сожалению, это от недопонимания даже того простого факта, что ни одна из существующих систем активной безопасности не меняет законы физики...
Это было 10 лет назад, Германия, Хоккенхаймринг, курс спецподготовки тренинг-инструкторов: тех, кто в представительствах, у крупных дилеров или в крупных транспортных компаниях отвечает за подготовку и переподготовку водителей автобусов (категория "D" и стаж - для наемного водителя в серьезной компании слишком мало). И так. Базальт, покрытый водой (имитация гололеда), три препятствия (фонтаны воды). Выполняем упражнение на 35, 40 и 45 км/ч (скорость "захода на цель" контролируется электроникой). Используются ABS и система курсовой устойчивости. Задача - объехать препятствие, но первый отворот (влево или вправо) все время меняется. Так вот, на 35 - получалось у всех, на 40 - у некоторых, на 45 и всех - машина начинала скользить, постепенно разворачиваясь поперек направления скольжения... И на реальной дороге ушла бы в кювет или на встречку. Так надо ли всегда тормозить? Ибо это автобус и за спиной 59 жизней (пассажиры есть всегда, даже если сиденья пусты).
Но на SAE 5 это решение должен принять робот...
Отсюда мы приходим к понятию "Мораль машины". Есть такой Массачусетский Технологический Институт (Massachusetts Institute of Technology, MIT). Так вот его специалисты разработали особый тест и создали специальный сайт moralmachine.mit.edu (язык - английский, но все доступно для понимания, как и выводы). И участникам теста предлагается решить несколько задач. Причем подразумевается, что именно вы должны создать алгоритм, по которому будет работать робот. Несколько примеров для "развлечения" (виноват, но начнем с котиков)
Усложним задачу. Вы с женой в машине или группа лиц (женщины, дети, котик) перебегают дорогу на красный свет. С вами все ясно, с ними - не понятно. Но их явно больше...
Еще больше усложним задачу. Группа лиц (беременная женщина, спортсмены, бизнесмен, котик) переходит дорогу на запрещающий сигнал светофора, а на зеленый: бомжи и грабители. Но социальный статус - не приговор и ПДД они не нарушают...
А если так? Вы готовы принять решение? Красный и зеленый на светофоре пешеходного перехода различаете. И помните, что водитель примет это решение может быть раз в жизни (если Бог милует - вообще никогда). В отличие от разработчика системы управления HAVs...
Что же предлагает U.S. Departament of Transportation (работаем по той же схеме):
Similarly, a conflict within the safety objective can be created when addressing the safety of one car's occupants versus the safety of another car's occupants. In such situations, it may be that the safety of one person may be protected only at the cost of the safety of another person. In such a dilemma situation, the programming of the HAV will have a significant influence over the outcome for each individual involved.
Since these decisions potentially impact not only the automated vehicle and its occupants but also surrounding road users, the resolution to these conflicts should be broadly acceptable. Thus, it is important to consider whether HAVs are required to apply particular decision rules in instances of conflicts between safety, mobility, and legality objectives. Algorithms for resolving these conflict situations should be developed transparently using input from Federal and State regulators, drivers, passengers and vulnerable road users, and taking into account the consequences of an HAV's actions on others.
Да, действительно, здесь пока открыто не обсуждается, что "беспилотник" получит "право на убийство", но некоторые мысли про обеспечение безопасности за счет других лиц и о необходимости применения особых правил принятия решений как бы (и более чем) намекают на такую вероятность.
Так что - простите, Карие Глаза...
Повторюсь: мы обсуждали не закон, а документ для обсуждения. И к сожалению. Объективно у некоторых в России просто свербит от мысли о беспилотниках. Оно понятно: амбициозный проект, неясные перспективы и сроки внедрения, осязаемая господдержка, опять же импортозамещение и "наш ответ пиндосам". А может стоит на ближайшие 10 лет увести эту тему "в тень": НИОКР, лаборатории (которые еще надо создать, как и обучить специалистов), испытания, дискуссии? А то полстраны не газифицировано, дорог нет, но мы туда же. Кстати, имею честь общаться с некоторыми "громкоголосыми". Вопрос об "этических аспектах" HAVs их ставит в тупик. Особенно (виноват) - в Сколково...
p.s. Кстати, те самые три закона робототехники:
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
- Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
С HAVs мы явно отменяем Пункт первый. А если ОНИ потом отменят остальные?
75 комментариев
8 лет назад
Удалить комментарий?
Удалить Отмена8 лет назад
Как по мне так более насущной проблемой будет являться ситуация, когда техника отказала и произошло дтп. Кто будет нести ответственность? производитель или всё таки водитель.
Удалить комментарий?
Удалить Отмена8 лет назад
Удалить комментарий?
Удалить Отмена8 лет назад
Вы не забывайте, машина не может быть невнимательной, уставшей или неадекватной. Да и суть беспилотника в его безопасности как для находящихся в машине, так и для окружающих её!
Удалить комментарий?
Удалить Отмена8 лет назад
Удалить комментарий?
Удалить Отмена