ТЕХНОЛОГИЯ РАСПОЗНАВАНИЯ АКЦЕНТА AMAZON МОЖЕТ СООБЩИТЬ ПРАВИТЕЛЬСТВУ, ОТКУДА ВЫ РОДОМ
Belle Lin
15 ноября 2018 года, 16:00
В НАЧАЛЕ октября Amazon незаметно выдал патент , который позволил бы его виртуальному помощнику Alexa расшифровать физические характеристики и эмоциональное состояние пользователя на основе их голоса. Характеристики или «голосовые функции», такие как языковой акцент, этническое происхождение, эмоции, пол, возраст и фоновый шум, будут немедленно извлечены и помечены в файле данных пользователя, чтобы помочь доставить более целевую рекламу.
Алгоритм также учитывает физическое местоположение клиента - на основе его IP-адреса, основного адреса доставки и настроек браузера - чтобы помочь определить его акцент. Эксперты считают, что если патент Amazon станет реальностью или если обнаружение акцента уже возможно, это приведет к возникновению вопросов о слежке и нарушениях конфиденциальности, а также о возможной дискриминационной рекламе.
Вопросы, гражданские права, поднимаемые патента аналогичны вокруг распознавания лица, другая технология Amazon использовала в качестве якоря его искусственного интеллекта стратегии, и один, что это спорно продаваемого в правоохранительные органы. Как и распознавание лиц, голосовой анализ подчеркивает, что существующие законы и гарантии конфиденциальности просто не способны защитить пользователей от новых категорий сбора данных - или шпионских действий правительства. В отличие от распознавания лиц, анализ голоса основан не на камерах в общественных местах, а на микрофонах внутри интеллектуальных колонок в наших домах. Это также поднимает собственные острые проблемы, связанные с рекламой, которая нацелена на определенные группы людей или исключает их на основе таких производных характеристик, как национальность, родной язык и т. Д. (Вид спора, в который попал Facebookснова и снова ).
Почему правительство может быть заинтересовано в данных Accent
По словам Дженнифер Кинг, директора по защите конфиденциальности потребителей в Центре интернета и общества при Стэнфордской школе права, обнаружение акцентного распознавания голоса может определить этническую принадлежность человека, что открывает новую категорию информации, которая невероятно интересна для правительства.
«Если вы компания и создаете новые классификации данных, и правительство заинтересовано в них, вы наивно полагаете, что правоохранительные органы не будут преследовать их», - сказала она.
Она описала сценарий, в котором, зная историю покупок пользователя, существующие демографические данные и говорят ли они на арабском или английском языке с акцентом на арабском языке, Amazon может идентифицировать пользователя как принадлежащего к религиозной или этнической группе. Кинг сказал, что вполне вероятно, что ФБР вынудит производить такие данные из Amazon, если это поможет определить членство пользователя в террористической группе. По ее словам, требования к данным, связанные с терроризмом, являются более жесткими для компаний, в отличие от тех, которые являются расплывчатыми или иным образом чрезмерными, что они оттолкнули.
Эндрю Крокер, старший юрист отдела Electronic Frontier Foundation, заявил, что Закон о надзоре за внешней разведкой, или FISA, позволяет правительству тайно требовать такие данные. FISA управляет электронным шпионажем, осуществляемым с целью получения информации об иностранных державах, что позволяет проводить такой мониторинг без ордера в одних случаях и в других на основании ордеров, выданных судом, закрытым для общественности, с представлением только правительства. Сообщения граждан и жителей США обычно приобретаются в соответствии с законом, во многих случаях случайно, но даже случайно собранные сообщения могут позже использоваться против американцев в расследованиях ФБР. Согласно FISA, правительство могло бы «легче получать секретную информацию, а в национальном законодательстве нет возможностей массового или массового наблюдения», - сказал Крокер.
Дженнифер Грэйник, адвокат по надзору и кибербезопасности в рамках Проекта речи, конфиденциальности и технологий Американского союза гражданских свобод, предположила, что данные акцента Amazon также могут предоставить правительству информацию для целей иммиграционного контроля.
«Допустим, у вас есть ICE, обратитесь к одному из этих провайдеров и скажите:« Дайте нам всю информацию о подписке людей, у которых есть испанские акценты »… чтобы идентифицировать людей определенной расы или тех, у кого теоретически могут быть родственники, у которых нет документов». она сказала. «Таким образом, вы можете видеть, что этой информацией о типах можно злоупотреблять».
Хотя Кинг сказала, что она не видела доказательств правительственных запросов такого типа, она стала свидетелем «параллельных вещей, происходящих в других контекстах». Также возможно, что, если ФБР направит Amazon письмо о национальной безопасности, приказ о кляпе предотвратит Компания раскрывает много, в том числе точное количество полученных писем. Письма о национальной безопасности требуют раскрытия определенных видов информации от коммуникационных фирм, как, например, повестка в суд, но часто в тайне. Письма требуют, чтобы компании передавали выбранные данные, такие как имя владельца учетной записи и возраст учетной записи, но ФБР регулярно запрашивало дополнительную информацию, включая заголовки электронной почты и историю просмотра Интернета.
Однако по сравнению с некоторыми другими технологическими гигантами Amazon менее детально раскрывает информацию о получаемых ею письмах о национальной безопасности и о запросах данных в целом. Например, в своих отчетах о запросах информации он не раскрывает, сколько NSL он получил или сколько учетных записей затрагиваются запросами национальной безопасности, как это делают Apple и Google. Эти более конкретные раскрытия от других компаний демонстрируют тенденцию: с середины 2016 года до первой половины 2017 года запросы национальной безопасности, отправленные в Apple, Facebook и Google, значительно увеличились .
Но даже если правительство еще не обращалось с подобными просьбами к Amazon, мы знаем, что оно какое-то время уделяло внимание голосовым и речевым технологиям. В январе The Intercept сообщил, что Агентство национальной безопасности разработало технологию не только для записи и расшифровки личных разговоров, но и для автоматической идентификации говорящих. Была создана «голосовая печать» человека, на которую можно было бы найти перекрестные ссылки с миллионами перехваченных и записанных телефонных, видео и интернет-звонков.
Эксперты заявили, что для создания «голосовой печати» американского гражданина, которая не указана в правительственных документах, необходимо только подключиться к существующим голосовым данным Amazon или Google.
За прошедший год отношения Амазонки с правительством стали все более уютными. BuzzFeed недавно раскрыл подробности о том, как полицейский департамент Орландо пилотировал Rekognition, технологию распознавания лиц Amazon, для идентификации «людей, представляющих интерес». Несколько месяцев назад ACLU выставил Amazon за «маркетинг Rekognition для государственного надзора». Тем временем в Июнь, компания была занята представлением иммиграционной и таможенной службы по ее технологии.
Хотя эти откровения вызвали тревогу даже у сотрудников Amazon , эксперты считают, что распознавание речи представляет собой аналогичные проблемы, которые в равной степени, если не более насущные. Патент Amazon на обработку голоса датируется мартом прошлого года. В ответ на вопросы The Intercept компания описала патент как исследовательский и обязалась соблюдать свою политику конфиденциальности при сборе и использовании данных.
Закон о конфиденциальности отстает от технологий
Слабые законы о конфиденциальности в США являются одной из причин, по которым потребители становятся уязвимыми, когда технологические компании начинают собирать новые типы данных о них. В законе нет ничего, что защищало бы собранные данные о настроении или акценте человека, сказал Грэйник.
В отсутствие сильной правовой защиты потребители вынуждены принимать собственные решения о компромиссах между своей частной жизнью и удобством виртуальных помощников. «Возможность использовать действительно надежное голосовое управление было бы замечательно, если бы это означало, что вы не просто были вовлечены в гигантский алгоритм искусственного интеллекта, а использовались для улучшения возможностей вашего нового продукта, особенно когда вы платите за эти системы», - сказал он. Король.
Закон о конфиденциальности электронных коммуникаций, или ECPA, впервые принятый в 1986 году, был в то время важным шагом вперед в защите конфиденциальности. Но сейчас, спустя более 30 лет, он еще не успевает за темпами технологических инноваций. Как правило, в соответствии с ECPA правительственным учреждениям требуется повестка в суд, постановление суда или ордер на обыск, чтобы заставить компании раскрывать защищенную информацию пользователя. В отличие от судебных приказов и ордеров на обыск, повестки в суд не обязательно требуют судебного рассмотрения.
В последнем отчете Amazon по информационным запросам , который охватывает первую половину этого года, говорится, что за это время компания получила 1736 повесток в суд, из которых 1283 передали часть или всю запрошенную информацию. С тех пор, как Amazon начал публиковать эти отчеты три года назад, количество запросов данных, которые он получает, неуклонно растет, с огромным скачком между 2015 и 2016 годами. Echo, его спикер с поддержкой Alexa для использования дома, был выпущен в 2015 году, и Amazon имеет Не сказано , связано ли увеличение с ростом популярности его динамика.
В то время как ECPA защищает данные, связанные с нашими цифровыми разговорами, Грэник сказал, что его применение к информации, собранной такими провайдерами, как Amazon, «анемично». «Правительство может сказать:« Дайте нам список всех, кто, по вашему мнению, является китайцем, латиноамериканцем »и поставщик должен спорить, почему они не должны. Такого рода убедительные данные не защищены ECPA, и это означает, что правительство может заставить их раскрыть повестку в суд », - сказала она.
Поскольку ECPA не является явным, существует юридический вопрос о том, может ли Amazon добровольно перевести разговоры своих пользователей с Alexa. Грэник сказал, что Amazon может утверждать, что такие данные являются защищенным электронным сообщением в рамках ECPA - и требовать, чтобы правительство получило ордер на доступ к ним, - но, как сторона сообщения, Amazon также имеет право обнародовать их. По ее словам, до сих пор не было судебных дел по этому вопросу.
Крокер из EFF утверждал, что связь с Alexa - например, голосовым поиском и командами - защищена ECPA, но согласился, что правительство может получить данные с помощью ордера или иного юридического процесса.
Он добавил, что то, как Amazon хранит информацию об акцентах, может повлиять на способность правительства получить к ней доступ. Если Amazon хранит его в долгосрочной перспективе в профилях клиентов в облаке, эти профили легче получить, чем голосовые сообщения в режиме реального времени, перехват которых обеспечивает защиту в соответствии с Законом о прослушке, федеральным законом, регулирующим перехват и раскрытие сообщений. (ECPA внесла поправки в Закон о прослушке телефонных разговоров, включив в них электронные сообщения.) И если они хранятся в метаданных, связанных с голосовым поиском в Alexa, правительство получало их в прошлых случаях и могло получить к ним доступ таким образом.
В 2016 году убийство джакузи в Арканзасе привлекло внимание Эхо обвиняемого. Полиция конфисковала устройство и попыталась получить его записи, побудив Amazon утверждать, что любая связь с Alexa и ее ответы были защищены как форма свободы слова в соответствии с Первой поправкой. Amazon в конечном итоге перевернул записи после того, как ответчик дал свое разрешение на это. На прошлой неделе судья из Нью-Гемпшира приказал Amazon передать записи «Эха» по новому делу об убийстве, снова надеясь, что это может предоставить уголовное доказательство.
Динамическая, таргетированная и дискриминационная реклама
Помимо правительственного надзора, эксперты также выразили обеспокоенность тем, что новая классификация данных Amazon увеличивает вероятность дискриминационной рекламы. Когда демографическое профилирование - основа традиционной рекламы - наслоено дополнительной, алгоритмически оцененной информацией из Alexa, реклама может быстро стать агрессивной или оскорбительной.
Грэник сказал, что если бы Amazon «давала один набор [жилищных] объявлений людям с китайским акцентом, а другой набор объявлений людям с финским акцентом… выделяя в первую очередь китайские кварталы для одного и европейские соседи для другого», было бы дискриминация по признаку национального происхождения или расы.
Кинг сказал, что Amazon также обвиняется в ценовой дискриминации и даже в расизме, если позволяет рекламодателям показывать и скрывать рекламу определенных этнических или гендерных групп. «Если вы живете в ОК и у вас есть китайский акцент и средний класс, это может показать вам вещи, которые стоят дороже. [Алекса] может сказать: «Я пришлю вам сумки Louis Vuitton, основанные на этих вещах», - сказала она.
Продажа товаров на основе эмоций также дает рекламодателям возможность манипулировать потребителями. «Если вы женщина с определенной демографической ситуацией и у вас депрессия, и мы знаем, что пьянство - это то, чем вы занимаетесь… зная, что вы в каком-то уязвимом положении, нет никаких правил, запрещающих им делать что-то подобное «Кинг сказал.
Пример из патента предусматривает маркетинг для носителей китайского языка, хотя и в более безобидном контексте, описывающий, как реклама может быть ориентирована на «пользователей среднего возраста, которые говорят на китайском языке или имеют китайский акцент и живут в Соединенных Штатах». Если пользователь спрашивает «Алекса, что за новости сегодня?» Алекса может ответить: «Перед кратким сообщением новостей вас может заинтересовать телевизионная приставка Xiaomi, которая позволяет вам смотреть более 1000 китайских телеканалов в режиме реального времени всего за 49,99 долларов. Вы хотите купить?"
Согласно патенту, объявления могут быть представлены в ответ на голосовой ввод пользователя, но также могут быть «представлены в любое время». Они могут даже вводиться в существующие аудиопотоки, такие как брифинг новостей или воспроизведение треков из музыки. список воспроизведения.
Новые правила для конфиденциальности данных
Вслед за скандалом с Cambridge Analytica в Facebook , законодатели стали все более настороженно относиться к компаниям, занимающимся технологиями, и их методам обеспечения конфиденциальности. В конце сентября Комитет по коммерции Сената провел новый раунд слушаний с техническими руководителями по этому вопросу, который также дал им возможность объяснить, как они реагируют на новые строгие законы о конфиденциальности данных в Европейском союзе и Калифорнии .
Калифорнийское регулирование, которое было принято в июне и вступает в силу в 2020 году, создает новый прецедент для закона о конфиденциальности потребителей в стране. Он расширяет определение личной информации и дает жителям штата больший контроль над передачей и продажей их данных третьим сторонам.
Неудивительно, что Amazon и другие крупные технологические компании решительно оттеснили новые реформы, сославшись на чрезмерные штрафы, затраты на соблюдение требований и ограничения на сбор данных - и каждая из них потратила почти 200 000 долларов, чтобы победить . Во время слушаний в Сенате вице-президент Amazon и заместитель генерального юрисконсульта Эндрю Девор попросил комитет рассмотреть «непреднамеренные последствия» закона Калифорнии, которые он назвал «запутанными и трудными для соблюдения».
Теперь, когда прошли промежуточные выборы, защитники конфиденциальности надеются, что интерес Конгресса к вопросам конфиденциальности превратится в законодательный акт; до сих пор это не так. Федеральная торговая комиссия также рассматривает возможность обновления своих приоритетов защиты прав потребителей. В сентябре он провел серию слушаний, посвященных изучению влияния «новых технологий» и других экономических изменений.
Грэник сказал, что, поскольку государства переходят на защиту потребителей, а федеральное правительство - нет, Калифорния может служить образцом для остальной части страны. В августе Калифорния также стала первым штатом, принявшим закон о кибербезопасности Интернета вещей , требующий от производителей добавления «разумной функции безопасности» для защиты собираемой ею информации от несанкционированного доступа, изменения или раскрытия.
В 2008 году Иллинойс стал первым штатом, в котором был принят закон, регулирующий биометрические данные , который накладывает ограничения на сбор и хранение данных сканирования радужной оболочки, отпечатков пальцев, голосовых отпечатков, сканирования рук и геометрии лица. (Грэник говорит, что неясно, подпадают ли данные акцента под действие закона.) Будучи первым штатом, принявшим знаковое законодательство, Иллинойс представляет предостерегающую историю для Калифорнии. Хотя его законопроект когда-то считался типовым законом, только два других штата - Техас и Вашингтон - приняли биометрические законы о конфиденциальности за последние 10 лет. Подобные усилия в других местах были в основном убиты корпоративным лоббированием.
Растущая и глобальная проблема
Активисты рассматривают другие страны как примеры того, что может пойти не так, если технические компании и правительственные учреждения станут слишком дружелюбными, а данные с голосовым акцентом будут использованы неправильно.
В прошлом году Хьюман Райтс Вотч сообщила, что правительство Китая создает национальную голосовую биометрическую базу данных, используя данные китайской технической компании iFlyTek, которая бесплатно предоставляет свои приложения для распознавания голоса потребителей и утверждает, что ее система может поддерживать 22 китайских диалекта. На своем английском веб-сайте iFlyTek заявил, что его технология была «проверена и оценена» «многими партийными и государственными лидерами», включая президента Си Цзиньпина и премьер-министра Ли Кэцяна.
Компания также является поставщиком систем сбора шаблонов голоса, используемых региональными полицейскими управлениями, и управляет лабораторией, которая разрабатывает технологию голосового наблюдения для Министерства общественной безопасности. Его технология «помогла раскрыть дела» для правоохранительных органов в Аньхое, Ганьсу, Тибете и Синьцзяне, согласно сообщению государственной прессы, цитируемому Хьюман Райтс Вотч. Активисты предупреждают, что одним из возможных вариантов использования правительственной голосовой базы данных, которая может содержать диалектные и богатые акцентом голосовые данные групп меньшинств, является наблюдение за тибетцами и уйгурами.
В прошлом году Die Welt сообщила, что правительство Германии тестировало программное обеспечение для голосового анализа, чтобы проверить, откуда прибывают его беженцы. Они надеялись, что это определит диалекты людей, ищущих убежища в Германии, которые сотрудники по миграции будут использовать в качестве одного из нескольких «индикаторов» при рассмотрении заявлений. Тест был встречен со скептицизмом, так как речевые эксперты поставили под сомнение способность программного обеспечения делать такое сложное определение.
Количество информации, которую люди добровольно предоставляют технологическим компаниям через умных ораторов, растет вместе с покупками, которые пользователи могут делать. Опрос Gallup, проведенный в прошлом году, показал, что 22 процента американцев в настоящее время используют умных домашних помощников, таких как Echo, - размещая их в гостиных, кухнях и других интимных помещениях. И 44 процента взрослых интернет-пользователей США планируют купить один, согласно исследованию Ассоциации потребителей технологий .
Амазонка переехала в дом с более изощренными голосовыми способностями для Алексы в течение долгого времени. В 2016 году он уже обсуждал обнаружение эмоций как способ опередить конкурентов Google и Apple. Также в том же году она подала заявку на патент переводчика ударения в режиме реального времени - сочетание технологий обнаружения и перевода ударения. Когда его патент на эмоции и акцент был выпущен в прошлом месяце, потенциальная способность Alexa распознавать эмоции и определять, болеют ли клиенты, вызывала жуткую реакцию .
Amazon сцепляется с «Accent Gap»
Текущие возможности обработки акцента Amazon являются тусклыми. В июле газета «Вашингтон пост» обвинила Амазонку и Google в «пробеле акцента», оставив не говорящих по-английски англичан в революции голосовой технологии. Алекса и Google Assistant испытали наибольшую сложность в понимании английского и испанского языков.
С тех пор как появилась технология распознавания речи, постоянный вызов был связан с нахождением диалектов, помех речи и акцентов. Если бы технология в патенте Amazon была доступна сегодня, эксперты по обработке естественного языка сказали бы, что обнаружение акцента и эмоций не сможет сделать точные выводы. Тренировочным данным, которые обучают искусственному интеллекту, в первую очередь не хватает разнообразия, и поскольку сам язык постоянно меняется, любому ИИ будет трудно не отставать.
Хотя новый патент Amazon является признаком того, что он обращает внимание на «пробел в акценте», он может делать это по неправильным причинам. Улучшенное распознавание языкового акцента делает голосовую технологию более справедливой и доступной, но это обходится дорого.
Относительно патентов
Патенты не являются верным признаком того, что создали технологические компании или что они даже могут построить. Технологические компании, в частности, подают огромное количество заявок на патенты.
В заявлении, направленном по электронной почте, Amazon заявила, что она подала «ряд перспективных патентных заявок, в которых раскрываются все возможности новых технологий. Получение патентов занимает несколько лет и не обязательно отражает текущие изменения в продуктах и услугах ». Компания также заявила, что« будет собирать и использовать данные только в соответствии с нашей политикой конфиденциальности », и не уточняла другие области применения своей технологии. или данные.
Но Кинг, который также рассмотрел многочисленные патенты Facebook, сказал, что они могут быть использованы для определения направления, в котором движется компания.
«Вы видите будущее, в котором взаимодействие с людьми и их внутренними пространствами становится все более агрессивным», - сказала она. «Это следующий рубеж для компаний. Не просто отслеживание вашего поведения, куда вы пошли, что они думают, что вы могли бы купить. Теперь это то, что ты думаешь, чувствуешь, и это делает людей очень неудобными ».
На данный момент люди, которые хотят сохранить свою конфиденциальность и минимизировать риск слежки, вообще не должны покупать колонки, рекомендовал Граник. «В основном вы устанавливаете микрофон, чтобы правительство слушало вас у себя дома», - сказала она.