Пугающие открытия о технологии распознавания лиц

Например, транспортная компания MTA в Нью-Йорке приоставила экспериментальный проект по распознаванию лиц из-за того, что система выдавала 100% ошибочный результат. Кроме того, было выяснено, что технология хуже распознает темнокожих: недавно было арестовано три неверно определенных афроамериканца.

За развитием технологии стоит Министерство обороны США
Несмотря на то, что попытки разработать систему распознавания лиц начались в научных кругах, огромное развитие она получила в 1996 году, когда Министерство обороны и Национальный институт стандартов и технологий США выделили $6,5 млн на создание крупнейшего на тот момент набора данных. Правительство заинтересовала возможность наблюдения без активного участия самих людей, как например того требует снятие отпечатков пальцев.

Портретные снимки из устаревших наборов данных приводят к ошибкам
До середины 2000-х годов для формирования баз данных использовались портретные снимки, на которых обучены некоторые из основных технологий распознавания лиц. Такой подход приводит к возникновению ошибок, так как не разнообразный набор участников и постановочные условия некорректно отображают реальный мир.

Множество данных были извлечены без разрешения пользователей
Когда портретных фотосессий стало недостаточно, исследователи просто начали извлекать фотографии из Google без получения разрешения. Например, набор данных 2007 года под названием Labeled Faces in the Wild был взят из Google, Flickr, YouTube и прочих онлайн-хранилищ фотографий. И хотя такой подход помог внести разнообразие, он также лишил людей права на конфиденциальность.

Facebook* вызвал новый бум в развитии технологии
Поворотный момент в развитии технологии произошел в 2014 году, когда Facebook* объявил о создании собственной базы данных DeepFace. Компания продемонстрировала, как из коллекции миллионов фотографий можно создать нейронные сети, которые значительно лучше справляются с задачами распознавания лиц, чем предыдущие системы. Так глубокое обучение стало основой современного распознавания лиц.

Массовый сбор данных Facebook* нарушает конфиденциальность пользователей
За использование фотографий без получения разрешения пользователей, которые загрузили их на платформу, компания была оштрафована Федеральной торговой комиссией США, а также заплатила штраф штату Иллинойс. Технология DeepFace тренировалась через функцию, предлагающую отметить человека, изображенного на снимке. А с учетом того, что ее нельзя отключить, участие в развитие этой технологии принималось по умолчанию.

Системы распознавания лиц обучались на лицах 17,7 млн человек
И это лишь публичные наборы данных. На деле невозможно назвать точное количество и личности людей, чьи фото сделали их невольными участниками в разработке технологии.

Автоматизация систем порождает дискриминацию и неравенство
Технология распознавания лиц способна не только определять человека, но и помечать его отдельные характеристики. Многие их таких меток являются потенциально оскорбительными. В исследовании указаны следующие примеры.

- По телосложению: «пухлый», «второй подбородок».
- По расовым признакам: «бледная кожа», «острый нос» и «узкие глаза» для азиатских лиц, «большой нос» и «пухлые губы» для темнокожих людей.
- Общие концепции: «мешки под глазами», «трехдневная щетина».
- Необъективные признаки: «привлекательный».

Обычно системы обучаются на лицах «западного» типа. Наборы данных, созданные для того, чтобы «обучить беспристрастные и не дискриминирующие алгоритмы», приносили лишь дополнительные проблемы: ученые утверждают, что это лишь «разделило этнические происхождения людей на три категории».

Возникающие ошибки не просто оскорбительны: исследование показало, что дискриминация ИИ-систем может привести к дискриминации в реальном мире.

Сегодня технология имеет широкий спектр применения
Сейчас технологии распознавания лиц используются как в государственном надзоре, так и для таргетинга рекламы. С одной стороны эти системы все еще преследуют свои изначальные цели, но с другой уже вышли за рамки того, что могли представить их создатели в 1970-х годах.

По словам авторов, история показывает, что правительство с самого начала поддерживало эту технологию, чтобы использовать ее в уголовных расследованиях и наблюдении. Например, Amazon уже продала свою платформу Rekognition нескольким полицейским управлениям.

Кроме того, некоторые обучающие данные позволяют разрабатывать системы для анализа настроений покупателей, а также улучшения отслеживания и понимания потенциальных клиентов.