Беспилотники получат "право на убийство"?
Почему он интересен? Как вы знаете, отечественные производители тоже пытаются создать "беспилотники", но пока у нас и в остальном мире они могут опираться только на разрешение опытной эксплуатации на ограниченном числе дорог общего пользования. Например, в США - на хайвеях в 4 штатах, в Германии - на участках двух автобанов, причем это касается машин с полуавтономным управлением: водитель в некоторых ситуациях лишь может снять руки с руля. Вместе с тем, технический прогресс в ближайшее время может позволить создать автомобили с автономным управлением V поколения (SAE 5). По определению у них водитель может находиться в кабине (и даже не за рулем), но его вмешательство в управление может потребоваться только в случае полного отказа системы. И здесь появляется много проблем. Даже юридических...
Сегодня мы рассмотрим единственный пункт документа - одиннадцатый: Ethical Considerations - "Этические соображения". Чтобы вам не лазить по ссылкам и не разбираться в 160-страничном документе, приведу пару абзацев п.11 на языке оригинала и толкование (кстати, HAV - это принятое обозначение "беспилотников"). Итак:
Three reasonable objectives of most vehicle operators are safety mobility and legality. In most instances, those three objectives can be achieved simultaneously and without conflict. In some cases, achievement of those objectives may come into conflict. For example, most States have a law prohibiting motor vehicles from crossing a double-yellow line in the center of a roadway. When another vehicle on a two-lane road is double-parked or otherwise blocking a vehicle's travel lane, the mobility objective (to move forward toward an intended destination) may come into conflict with safety and legality objectives (e.g., avoiding risk of crash with oncoming car and obeying a law). An HAV confronted with this conflict could resolve it in a few different ways, depending on the decision rules it has been programmed to apply, or even settings applied by a human driver or occupant.
Иными словами, для обеспечения мобильности и не в ущерб безопасности движения, "беспилотники" должны уметь... отступать от требований Правил дорожного движения. На самом деле - это правильно. И на картинке тоже пример со сплошной полосой, которую пришлось пересечь. Хотя это Германия. Однако, как понимаете, если этого разрешения не будет, машина SAE 5 будет стоять, пока не уберут прицеп...
Перед следующим абзацем небольшое отступление. Недавно по радио слушал выступление некой пресс-секретарки одно российского производителя автономных систем управления. Дама с гордостью сказала, что наши "беспилотники" будут тормозить даже перед перебегающей собакой, чего европейские не делают. К сожалению, это от недопонимания даже того простого факта, что ни одна из существующих систем активной безопасности не меняет законы физики...
Это было 10 лет назад, Германия, Хоккенхаймринг, курс спецподготовки тренинг-инструкторов: тех, кто в представительствах, у крупных дилеров или в крупных транспортных компаниях отвечает за подготовку и переподготовку водителей автобусов (категория "D" и стаж - для наемного водителя в серьезной компании слишком мало). И так. Базальт, покрытый водой (имитация гололеда), три препятствия (фонтаны воды). Выполняем упражнение на 35, 40 и 45 км/ч (скорость "захода на цель" контролируется электроникой). Используются ABS и система курсовой устойчивости. Задача - объехать препятствие, но первый отворот (влево или вправо) все время меняется. Так вот, на 35 - получалось у всех, на 40 - у некоторых, на 45 и всех - машина начинала скользить, постепенно разворачиваясь поперек направления скольжения... И на реальной дороге ушла бы в кювет или на встречку. Так надо ли всегда тормозить? Ибо это автобус и за спиной 59 жизней (пассажиры есть всегда, даже если сиденья пусты).
Но на SAE 5 это решение должен принять робот...
Отсюда мы приходим к понятию "Мораль машины". Есть такой Массачусетский Технологический Институт (Massachusetts Institute of Technology, MIT). Так вот его специалисты разработали особый тест и создали специальный сайт moralmachine.mit.edu (язык - английский, но все доступно для понимания, как и выводы). И участникам теста предлагается решить несколько задач. Причем подразумевается, что именно вы должны создать алгоритм, по которому будет работать робот. Несколько примеров для "развлечения" (виноват, но начнем с котиков)
Усложним задачу. Вы с женой в машине или группа лиц (женщины, дети, котик) перебегают дорогу на красный свет. С вами все ясно, с ними - не понятно. Но их явно больше...
Еще больше усложним задачу. Группа лиц (беременная женщина, спортсмены, бизнесмен, котик) переходит дорогу на запрещающий сигнал светофора, а на зеленый: бомжи и грабители. Но социальный статус - не приговор и ПДД они не нарушают...
А если так? Вы готовы принять решение? Красный и зеленый на светофоре пешеходного перехода различаете. И помните, что водитель примет это решение может быть раз в жизни (если Бог милует - вообще никогда). В отличие от разработчика системы управления HAVs...
Что же предлагает U.S. Departament of Transportation (работаем по той же схеме):
Similarly, a conflict within the safety objective can be created when addressing the safety of one car's occupants versus the safety of another car's occupants. In such situations, it may be that the safety of one person may be protected only at the cost of the safety of another person. In such a dilemma situation, the programming of the HAV will have a significant influence over the outcome for each individual involved.
Since these decisions potentially impact not only the automated vehicle and its occupants but also surrounding road users, the resolution to these conflicts should be broadly acceptable. Thus, it is important to consider whether HAVs are required to apply particular decision rules in instances of conflicts between safety, mobility, and legality objectives. Algorithms for resolving these conflict situations should be developed transparently using input from Federal and State regulators, drivers, passengers and vulnerable road users, and taking into account the consequences of an HAV's actions on others.
Да, действительно, здесь пока открыто не обсуждается, что "беспилотник" получит "право на убийство", но некоторые мысли про обеспечение безопасности за счет других лиц и о необходимости применения особых правил принятия решений как бы (и более чем) намекают на такую вероятность.
Так что - простите, Карие Глаза...
Повторюсь: мы обсуждали не закон, а документ для обсуждения. И к сожалению. Объективно у некоторых в России просто свербит от мысли о беспилотниках. Оно понятно: амбициозный проект, неясные перспективы и сроки внедрения, осязаемая господдержка, опять же импортозамещение и "наш ответ пиндосам". А может стоит на ближайшие 10 лет увести эту тему "в тень": НИОКР, лаборатории (которые еще надо создать, как и обучить специалистов), испытания, дискуссии? А то полстраны не газифицировано, дорог нет, но мы туда же. Кстати, имею честь общаться с некоторыми "громкоголосыми". Вопрос об "этических аспектах" HAVs их ставит в тупик. Особенно (виноват) - в Сколково...
p.s. Кстати, те самые три закона робототехники:
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
- Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
С HAVs мы явно отменяем Пункт первый. А если ОНИ потом отменят остальные?
75 комментариев
Удалить комментарий?
Удалить Отмена8 лет назад
Удалить комментарий?
Удалить ОтменаУдалить комментарий?
Удалить Отмена8 лет назад
Удалить комментарий?
Удалить ОтменаУдалить комментарий?
Удалить Отмена8 лет назад
Удалить комментарий?
Удалить ОтменаУдалить комментарий?
Удалить Отмена8 лет назад
Удалить комментарий?
Удалить ОтменаУдалить комментарий?
Удалить Отмена8 лет назад
Удалить комментарий?
Удалить Отмена8 лет назад
Смысл документа довольно прост: при реализации беспилотников теоретически возможны ситуации, когда появляется необходимость выбора между различными действиями, все из которых ставят под угрозу жизнь и здоровье людей. В документе говорится, что алгоритмы такого выбора должны обсуждаться и разрабатываться открыто и прозрачно, всё. Ни о каком «праве на убийство» речь не идёт.
Автор, как обычно при обсуждении таких вопросов, напрочь забывает одну простую вещь: ПДД не предусматривает наличие такого выбора для людей. У водителя одно правило: возникла опасная ситуация – снижай скорость вплоть до остановки. Никто не будет судить водителя с формулировкой «Не выполнил манёвр уклонения» или «Не того задавил». Нет пунктов ПДД вида «Если выбираете кого задавить – группу детей или группу пенсионеров, то обязан давить пенсионеров».
Создать беспилотник, ездящий по Правилам, вполне возможно с технической точки зрения, и незачем на него валить этические проблемы, с которыми и люди-то разобраться не могут.
Удалить комментарий?
Удалить Отмена8 лет назад
С женщинами тоже пример интересный. А если три беременные с колясками и на железнодорожных путях гуляют, как быть? Давайте уж поезда запретим, там вообще никаких вариантов в сторону вильнуть. И самолёты туда же – а вдруг на беременную женщину упадёт, есть же такая вероятность, да?
И, в конце концов, ну уж безопасную скорость движения беспилотник посчитать сможет получше людей, большинство ДТП происходит из-за нарушения ПДД. Компьютеры никуда не торопятся, не нервничают, не устают, не ездят по принципу «ну я чуть-чуть нарушу, мелочи же». Сколько народу гибнет из-за того, что водители переоценивают свои возможности и водят безответственно, не думали?
Удалить комментарий?
Удалить Отмена8 лет назад
Удалить комментарий?
Удалить Отмена8 лет назад
У вас какие-то довольно однобокие представления о беспилотниках. Разрабатывают не только компьютерных водителей, но инфраструктуру – это значит, что автомобиль имеет информацию от соседних автомобилей и от других объектов на дороге. Такие автомобили будут иметь гораздо более полную информацию о происходящем на дороге, погуглите для примера V2V и V2I, много нового узнаете. И да, в условиях ограниченной обзорности скорость надо снижать, да, плестись 30 км/ч, а не думать «Я ж Шумахер, я ж уклонюсь если что». На среднюю скорость это не повлияет.
И забудьте уже этих мифических беременных женщин, прыгающих под колёса из ниоткуда, от которых можно было уклониться. Ну не должно быть так, не видишь обстановку на дороге – не гони! Ну или хоть один пример из жизни приведите. Зато огромное число народу гибнет из-за идиотов за рулём, которые сначала ПДД нарушают, а потом «уклоняются». Вот ваш типичный человечный водитель, избегающий столкновения: сначала скорость за 100 км/ч, а потом раскатывает остановку, потому что «уклонялся» http://www.mk.ru/incident/2016/10/02/voditel-ubivshiy-lyudey-na-ostanovke-ukhodil-ot-stolknoveniya-so-vstrechkoy.htmlhttp://www.mk.ru/incident/2016/10/02/voditel-ubivshiy-lyudey-na-ostanovke-ukhodil-ot-stolknoveniya-so-vstrechkoy.html
Удалить комментарий?
Удалить Отмена8 лет назад
Я в целом, то не против автопилотов, просто ситуация на дороге слишком сложная для них и не предсказуемая. это не поезд, который едет от станции до станции. Вот в статье и обсуждается должны ли автомобили следовать строгим правилам или все же иногда нарушать. Есть закон, а есть справедливость. Вот примеры идиотских законов и правил: https://otvet.mail.ru/question/23587969https://otvet.mail.ru/question/23587969
Удалить комментарий?
Удалить Отмена8 лет назад
При этом в вашем же ролике несколько эпизодов, когда водитель избегает столкновения и выезжает на встречку – обычно это заканчивается гораздо более тяжкими последствиями, но вас это не смущает почему-то. Посмотрите на 1:49, 2:50 – могло закончится лобовым столкновением с тяжёлыми последствиями просто потому, что инстинктивно (а не обдуманно!) водители уклоняются от столкновения с идущей впереди машиной. И это уж не говоря о том, что почти во всех эпизодах первопричина – нарушение ДТП, к чему компьютерные водители не склонны.
Так что тут я останусь при своём мнении – уж лучше беспилотники и езда строго по правилам. У нас 23 тысячи человек в прошлом году в ДТП погибло, и почти всегда – из-за нарушений требований ПДД.
Да, и статья вовсе не о «иногда нарушать», прочтите оригинал на английском, а не тупое враньё автора поста.
Удалить комментарий?
Удалить Отмена