Язык твой – враг/друг мой

Больше половины статей об Украине на сайте RT относятся к категории «Новости». Средняя длина статьи для данной категории – 2889 символов. Длиннее статьи в категориях «Политика», «США», «Шоу», «Великобритания». К категориям «США» и «Великобритания» относятся новости из этих стран, в которых упоминается Украина. В категорию «Шоу» входят документальные фильмы, дискуссии на тему глобальной экономики и политики, авторские программы. Самые короткие тексты можно встретить в категории «Бизнес новости» – в среднем 1700 знаков.

Из списка заметно выделяется категория Op-Edge (в среднем 5100 символов) – «платформа для тех, кто не боится высказывать свою позицию и ставить под вопрос то, что считается установленными истинами». Проще говоря, к этой категории относятся политические комментарии, статьи иностранных журналистов и блогеров, письма читателей. Например, среди активных колумнистов – Брайан Макдоналд, ирландский журналист с сомнительной репутацией, базирующийся в Москве.

Сорок процентов статей на Ukraine Today попадают в категорию «Политика». Почти в два раза меньше статей в категории «Новости» (они же самые короткие – 671 символ). На фоне остальных выделяется категория «Мнение», в которой средняя длина статьи 1541 символ. Обычно под эту категорию подпадают колонки журналистов, экспертов, общественных деятелей.

Заметны различия в лексике, которую используют украинский и русский сайты. Если подсчитать, сколько раз употреблялось слово в статьях, и разделить на количество статей, мы получим относительную частоту употребления. Рассчитав данную метрику для обоих ресурсов, можно идентифицировать слова-дискриминанты – «волнорезы», которые помогут определить, к какому классу принадлежит статья. Например, если статья содержит слова сепаратист (separatist), оккупация (occupation) или аннексия (annexation), она, вероятнее всего, относится к классу с проукраинской лексикой.

Рассмотрим более детально слова-дискриминанты. Украинский ресурс чаще употребляет аббревиатуру «АТО». Очевидно, на Ukraine Today публикуются сводки из АТО. Кроме того, RT не может апеллировать к конфликту на Донбассе как антитеррористической операции, поскольку не считает воюющих со стороны «ДНР» и «ЛНР» террористами. Для описания участников военных действий на востоке Украины Ukraine Today относительно чаще употребляет такие слова, как боевик (militant), сепаратист (separatist) и солдат (soldier). В то же время Russia Today намного чаще использует слова народное ополчение (militia) и мятежник (rebel). На украинском сайте более вероятно встретить слова оккупация, аннексия и враг (enemy), которые имеют кардинально негативный тон по отношению к агрессии со стороны Российской Федерации.

Помимо военной тематики стоит обратить внимание на такие слова-дискриминанты: долг (debt) и санкции (sanctions). Российские СМИ и властные структуры часто используют санкции как оправдание внутренних проблем. Вторая горячая тема, «Разговоры о долгах», возникала в контексте долга Украины перед Россией за газ и вопроса, сможет ли Украина обслуживать свои долговые обязательства в принципе.

Слова-дискриминанты, безусловно, важны, они служат маяками, по которым ориентируется алгоритм. Но для более глубокого понимания сути статей важно знать, в каком контексте эти слова употребляются. Это можно сделать с помощью более сложных алгоритмов и методов.

Классификация мировых интернет-медиа

Мы отобрали 15 крупных англоязычных интернет-медиа⁴, которые с января 2014-го выпустили не менее 500 статей об Украине. В выборке присутствуют новостные агентства (Associated Press), вещательные компании (BBC), деловые СМИ (The Wall Street Journal, Bloomberg), газеты (The New York Times, The Washington Post). Девять интернет-медиа из США и шесть из Великобритании.

Для классификации текстов был использован метод логистической регрессии⁵. Данный алгоритм популярен для решения задач классификации текстовых данных, легко реализуем и эффективно работает с большим количеством признаков.

Результаты классификации статей показывают очевидную асимметрию в сторону проукраинской лексики. Обратим лишь внимание на западные деловые СМИ. Есть заметная разница между The Financial Times и The Wall Street Journal, с одной стороны, и Bloomberg – с другой. Статьи Bloomberg распределились практически 50 на 50 между классами. Это можно объяснить тем фактом, что в статьях Bloomberg чаще употребляются такие слова-дискриминанты, как санкции и долг, которые вероятнее встретить в статьях на Russia Today.

Ещё раз подчеркнём, что мы не знаем наверняка в анти- или проукраинском контексте употребляются эти слова. Для этого необходимо провести семантический анализ текстов, а это задача дальнейшего исследования.

Для каждой статьи рассчитывается вероятность, с которой она принадлежит к тому или иному классу. Например, статья в The Washington Post профессора Флоридского международного университета Ральфа Клема Why Eastern Ukraine is an integral part of Ukraine с вероятностью 99,9% принадлежит к классу статей с проукраинской лексикой. В статье автор опровергает тезис, что восточные области Украины исторически этническая часть России.

Напротив, статья на Bloomberg Ричарда Вайса и Алана Левина Ukraine Joins North Korea as No-Fly Airspace Trouble Spot с вероятностью 99,9% относится к классу с пророссийской лексикой. В статье говорится, что часть восточной Украины была объявлена запретной для полётов зоной по причине падения рейса MH 17. Автор акцентирует внимание, что это очень редкое ограничение, которое в данный момент применяется только к Северной Корее. В статье также описывается ситуация с полётами над Ираном, Сирией и Ливией.

Ситуация со статьями, вероятность для которых находится в интервале 90-100%, интуитивно понятна. Но если вероятность принадлежать к проукраинскому классу равна 50,1%? Для алгоритма всё ясно – вероятность больше 50%, а значит статья относится к классу с проукраинской лексикой. Но с точки зрения читателя не всё так однозначно. Математическую интерпретацию мы опустим, только отметим, что подобные статьи будут называться пограничными.

Определим, что вероятность для пограничных статей находится в интервале 40-60%. Классификатору сложно определить, к какому классу принадлежат такие статьи. Одна из причин – в данных текстах не употребляются слова, которые используются Ukraine Today или Russia Today. Количество пограничных статей в анализируемой выборке незначительно – 2,7-6,5% от общего числа статей для каждого интернет-медиа. Количество статей с вероятностью 90-100% в среднем равно 73% от общего числа статей. Дальнейшие шаги исследования предполагают углублённый анализ каждого из классов. Например, латентно-семантический анализ и анализ тональности текста.

Как читать цифры

Кратко сформулируем главные выводы. Во-первых, статей об Украине на RT в три раза меньше, чем на Ukraine Today, но они в три раза длиннее. Это говорит о различиях в редакционной политике двух медиаресурсов. Во-вторых, разнится словарный состав Ukraine Today и Russia Today. Есть слова-дискриминанты – разделители, которые помогают идентифицировать, к какому ресурсу может принадлежать статья. Например, если статья содержит слова сепаратист, оккупация или аннексия, более вероятно, что эта статья относится к классу с проукраинской лексикой. И в-третьих, результаты классификации статей мировых медиа показывают очевидную асимметрию в сторону проукраинской лексики.

Перспективы

Среди перспективных направлений использования машинного обучения в медиа – идентификация неправдивых новостей. Тим О'Райли, основатель и исполнительный директор O'Reilly Media, справедливо отмечает, что суть применения алгоритмов не устранить ошибки, но сделать результаты надёжными при условии возникновения ошибок. Чтобы остановить пандемию, критически важно идентифицировать и ограничить источник инфекции. Похожая ситуация с неправдивыми новостями: нет необходимости устранять все неправдивые новости, но стоит лимитировать их распространение.

1. Тексты статей не всегда полные, а иногда отсутствуют. Это связано с тем, что некоторые медиа требуют плату за просмотр контента на своем ресурсе.
2. На сайте uatoday.tv есть новости из разных географиеских регионов, но касающихся Украины подавляющее большинство.
3. Небольшая разница состоит лишь в том, что Russia Today использует ещё подкатегории. Например, official-word как подкатегория к politics.
4. Использовались как основные домены (например, bbc.com или nytimes.com), так и поддомены (например, cn.wsj.com или in.reuters.com).
5. Модель, построенная на методе логистической регрессии, показала более точный результат на тестовой выборке данных, чем наивный байесовский классификатор (97% против 89%). Стоит отметить, что существуют более сложные модели, основанные на ансамбле методов, и которые могут дать более точный результат.

Источник: VoxUkraine