Сидорова М.Ю. и др. Киберсамоубийство и цифровой селфхарм: общая проблематика и компьютерные решения. Часть 2

Это вторая часть статьи «Киберсамоубийство и цифровой селфхарм». Первая часть данной работы находится на сайте CYBERPSY здесь (опубликована в журнале «Социальная и клиническая психиатрия». 2018. Т. 18, No 3. С. 92–104).

В этой части статьи рассмотрены компьютерные решения, предложенные в течение последних трех лет в области детектирования и анализа интернет-текстов, содержащих СУ/СХ-контент¹ (твитов, комментариев, записей в блогах и т.п.), включая «негативные» (тексты, призывающие к самоубийству/нанесению себе вреда, описывающие СУ и СХ, предсмертные записки и др.) и «позитивные» (например, комментарии на форумах и в соцсетях, способствующие решению проблемы, отказу от идей СУ/СХ и др.), а также в области изучения формирования СУ/СХ-сообществ и установления контактов и распространения информации между лицами, интересующимися СУ/СХ, в социальных сетях (подписки, ретвиты и т.п.).

Опыт анализа и детектирования сообщений суицидального и антисуицидального, самоповреждающего и антисамоповреждающего характера, накопленный исследовательскими группами в разных странах мира, дает возможность оценить прогресс в этой области и существующие трудности, которые должны быть учтены при разработке решения проблемы на русскоязычном материале.

Задача представления полного списка имеющихся исследований и решений нами не ставится. Более полезным представляется осветить методику и результаты разработок, которые а) являются наиболее интересными и перспективными и/или первыми в своем роде; б) учитывают исследовательские проблемы, освещенные в первой части статьи; в) дают основания для рекомендаций по проведению аналогичных исследований и созданию соответствующих инструментов на базе русского языка.

Как было показано ранее, одной из существенных проблем автоматического детектирования сообщений на определенную тематику в Интернете является разнообразие используемых тегов и ключевых слов и их лексическое (точнее, морфемное и орфографическое, включая замену букв, сокращение и удлинение слов и т.п.) варьирование, обусловленное как естественной динамикой развития любого жаргона, так и стремлением пользователей обойти модерацию.

В работе S.Chancellor и соавт. [4] представлено исследование тегов, используемых сообществами, поощряющими пищевые расстройства (pro-ED communities), до и после изменения политики модерации в Instagram (2012), когда наиболее общие и популярные теги, связанные с этой темой были либо заблокированы для поиска, либо поиск по ним стал приводить к появлению на экране предупреждающего сообщения (anorexia, bulimia, bonespro и ряд других).

Авторы исследования изучили 2,5 миллиона сообщений из Instagram с 2011 по 2014 годы с тегами, касающимися пищевых расстройств, и проанализировали лексическое варьирование в них, которое свидетельствует о впечатляющей изобретательности пользователей в модификации тегов.

Когда все варианты тегов были по особым правилам, с учетом формальных и семантических видоизменений сгруппированы вокруг 17 «корневых», исходных тегов, на каждый из «корневых» тегов пришлось в среднем 40 модификаций. При этом расстояние Левенштейна между исходными тегами и их модификациями оказалось высоко вариативным от 1 до 9.

Далее была подсчитана пропорциональная динамика тегов, что дало результаты, которые сами авторы называют «удивительными». По графикам, представленным в статье, можно заметить, как количество сообщений с «запрещенными» тегами резко сократилось после апреля 2012 года, когда Instagram ужесточил политику блокирования СХ-контента (в среднем на 52 %, в диапазоне от 13 до 78%), однако теги, которые вызывали появление предупреждающего сообщения, стали использоваться в сообщениях чаще (среднее увеличение использования на 22% в диапазоне от 9 до 37%).

Увеличение количества вариантов тегов не сопровождалось количественным перевесом использования вариантов по сравнению с корневыми тегами, даже если последние подвергались модерации, напротив, в среднем обнаружилось уменьшение использования вариантов на 70% по сравнению с корневыми тегами. Однако некоторые цепочки вариантов показали существенное увеличение популярности (с точки зрения количества сообщений, в которых они использовались).

В целом результаты исследования указывают на недостаточную эффективность модерационных усилий Instagram: запрет на популярные pro-EDтеги легко преодолевается, те сообщества, которые наилучшим образом «научились» варьировать теги, привлекают больше участников и более активно поддерживают пищевые расстройства.

Более того, поскольку «запрет» тега фактически означает только невозможность использовать его для поиска, но не удаление или скрытие сообщений, уже снабженных этим тегом, такая политика, по мнению авторов исследования, приводит к тому, что pro-ED-сообщества «уходят в тень», продолжают вести свою деятельность, становясь при этом менее заметными для детектирования и интервенции.

Методика, предложенная авторами, дает возможность получить и много другой полезной количественной аналитики: количество лайков по корневым тегам и их вариациям, популярность сопровождающих тегов, преобладающие темы обсуждения на основе кластеров (совместно встречающихся групп) тегов и др.

Были, в частности, обнаружены существенные различия в тегах, сопровождающих «корневые» теги и их варианты. Кластеры, сопровождающие «корневые» теги включают обозначения негативных эмоций, одиночества и боли, а также слова, связанные со стратегией похудения и обозначающие физические признаки, то есть, с одной стороны, они выражают психологические проблемы, с которыми обычно сопряжено СХ-поведение, с другой – эмоционально оправдывают его.

Кластеры при вариантах тегов обычно отражают более глубокие психологические проблемы и более «опасный» контент. Они включают теги, выражающие самоуничижение, заниженную самооценку, депрессию и/или связанные с прямым СХ и СУ.

Поскольку сообщества, предпочитающие «корневые» и вариантные теги, достаточно четко разграничены и имеют разную пользовательскую базу, авторы исследования предполагают, что пользователи, использующие вариантные теги, могут представлять собой особый сегмент сообщества, нацеленный уже на поощрение прямого СХ, а не пищевых расстройств. Блокирование «корневых» тегов при этом будет уводить пользователя, использующего вариантные теги, все дальше в сторону более жестких форм СХ.

Справедливости ради, нужно заметить, что модерационная политика Instagram все же работает. Критикуя ее, авторы не отмечают тот факт, что в выпадающем списке по некоторым поисковым запросам, включающим рассматриваемые в статье теги, содержатся альтернативные запросы, отсылающие к контенту, направленному на борьбу с пищевыми расстройствами (рис. 1).

Рис. 1. Выпадающий список по поисковым запросам Instagram, касающимся нервной анорексии

Также следует подчеркнуть, что для русскоязычного сегмента Instagram необходимы собственные исследования – непосредственный перенос результатов англоязычных исследований невозможен. С одной стороны, существуют очевидные параллели. Так, при поиске из российского русскоязычного аккаунта по тегам анорексия и anorexia сначала появляется предупреждение, как и при поиске из англоязычного сегмента, затем, если пользователь желает его проигнорировать – результаты.

Однако контент, который получает пользователь на первой странице поиска, значительно различается в зависимости от того, на каком языке набран тег (рис. 2).

Рис. 2. Контент, который получает пользователь по запросу «анорексия» на первой странице поиска в зависимости от используемого языка

Очевидны и различия в варьировании тегов (рис. 3). Другой вопрос – сколько русскоязычных пользователей, интересующихся этой темой, в принципе пользуются русскоязычными тегами.

Исследование R.C.Brown [3] также было проведено на материале Instagram, но в отличие от предыдущего в нем изучались сообщения, связанные с прямым нанесением себе физических повреждений и снабженные соответствующими немецкими хештегами.

Выбор материала был обусловлен, с одной стороны тем, что Германия занимает одно из первых мест по уровню несуицидального СХ среди молодежи, с другой стороны – желанием авторов сосредоточиться на одном национальном сегменте интернета (английскими хештегами пользуются жители многих стран).

Отправной точкой анализа были опубликованные пользователями за 4 недели в апреле 2016 года фотографии, на которых были открыто изображены такие повреждения. Количество таких фотографий составило 2 826 в 1154 аккаунтах. Изучалось содержание фотографий, комментариев к ним и хештеги. В основном эти фотографии изображали порезы на руках и на ногах, отнесенные экспертами к повреждениям слабой и средней степени.

Заслуживает внимания поэтапная методика отбора материала, использованная авторами. Сначала в течение 48 часов они загружали из открытых профилей Instagram сообщения с одним хештегом, который по имеющимся данным является самым популярным для несуицидального СХ-контента в Германии [8]. Было получено 1 135 изображений.

На втором этапе были определены 30 хештегов, которые были использованы для этих изображений по крайней мере дважды, и произведена загрузка в течение 72 часов фотографий, помеченных этими хештегами. Количество загруженных фотографий составило 5 588.

Далее два независимых эксперта определяли, являются ли эти фотографии релевантными для цели исследования, то есть содержится ли на них непосредственное изображение раны или шрама (чужие фотографии, скопированные из известных источников, в рассмотрение не включались).

В полученной выборке оказалось 293 фотографии, на основе которых был проведен следующий этап уточнения списка хештегов. Хештеги, которыми были помечены как минимум 5% релевантных фотографий, использовались для окончательной загрузки материала.

Далее в течение 4 недель фотографии с этими хештегами выгружались из Instagram каждый час, что составило в конечном итоге 32 182 фотографий из 6 721 аккаунтов. Это количество особенно впечатляет на фоне того, что 10 из 16 использованных хештегов получают автоматическое предупреждение, в соответствии с модерационной политикой Instagram.

Однако при экспертной оценке этих фотографий выяснилось, что релевантными из них являются только 2 826 (8,8%), опубликованные в 1 154 аккаунтах. Этот результат интересен сам по себе, так как демонстрирует, что СХ-хештеги в сообщении редко сопровождаются непосредственным изображением повреждений.

В результате анализа полученного массива сообщений и комментариев к ним были получены статистические данные, отражающие зависимость комментариев от типа увечья на фото, количество комментариев под фотографиями определенного типа и т.д.

Типы фотографий определялись двумя независимыми экспертами по критериям степени тяжести повреждений (легкая, средняя, тяжелая), типа раны (порез, шрам, синяк, ожог), части тела (верхние конечности, нижние конечности, торс, голова, шея) и инструменту (бритва, монета и т.п.).

Комментарии (за вычетом 1,2% комментариев, которые были лишены смысла или сделаны на языках иных, чем немецкий и английский) также были разбиты на категории:

комплименты по поводу повреждения, например, указания на то, что оно выглядит «красиво» (0,5% от всех комментариев);
эмпатическая реакция, сочувствие (23,5%);
предложение помощи (6,9%);
предупреждения, просьбы прекратить СХ-поведение (11,6%);
провокации, стимуляция «идти дальше», например, «убить себя» (6,8%);
общее обсуждение темы – комментарии, не относящиеся напрямую к изображению и разместившему его пользователю (49,5%).

Казалось бы, что на основе этих данных можно сделать вывод о потенциальном положительном влиянии общения в социальной сети на пользователей, размещающих подобные фотографии: комментаторы в большинстве своем не стимулируют их СХ-поведение, предлагают моральную поддержку, выражают понимание их чувств, что должно способствовать укреплению социальных связей, уменьшению чувства одиночества и пониманию того, что такое поведение не является нормой.

Однако анализ количества комментариев показал, что сообщения с СХ-фотографиями получали в среднем в два раза больше комментариев, чем сообщения, не содержащие таких фотографий. Более того, изображения тяжелых повреждений получали больше комментариев в целом и больше комментариев каждого типа, чем изображения повреждений легкой и средней степени.

Поскольку получение комментариев является одной из основных мотиваций пользователей социальных сетей, желание увеличить количество комментариев может провоцировать пользователя на публикацию более «жестокого» контента и способствовать социальному закреплению СХ-поведения.

В качестве возможной превентивной меры авторы исследования предлагают автоматическую фильтрацию изображений (соответствующее решение может быть создано на основе машинного обучения) с опцией отключения лайков и комментариев под фотографиями, изображающими тяжелые повреждения.

Отдельное внимание авторы уделили активности публикации СХ-сообщений в зависимости от времени суток и дня недели. Было замечено, что в Германии больше сообщений рассматриваемой направленности публикуется в воскресенье и в период от 20 до 22 часов во все дни недели, в то время как спад активности таких публикаций приходится на время с 8 утра до часу дня в будние дни, что косвенно свидетельствует о том, что большая часть пользователей, публикующих такие сообщения – школьники.

В работе B.O’Dea и соавт. [11] была предложена модель, автоматически предсказывающая суицидальную наклонность сообщения, созданная и обученная на основе собранных в сети Twitter данных.

Из массива в 14 701 твит, найденных по ключевым словам, связанным с самоубийством, 2 000 твитов были случайным образом отобраны для экспертов, которые классифицировали их как «вызывающие серьезное беспокойство», то есть содержащие серьезное и открытое выражение намерения совершить самоубийство²(14%); «возможно, заслуживающие беспокойства» – дефолтная категория, в которую помещались твиты, не содержавшие признаков двух других (56%); «достаточно безопасные для того, чтобы их проигнорировать» (29%).

Согласованность мнений экспертов составила 76%. Перед моделью была поставлена задача автоматической детекции сообщений, «вызывающих сильное беспокойство». Всего для машинного обучения и тестирования модели было использовано 1 820 твитов, разделенных на два набора: набор A – 829 твитов (746 для обучения, 83 для проверки) и набор B=991 (соответственно 891 и 100).

Модель правильно определила 80% сообщений, «вызывающих сильное беспокойство», что значительно лучше, чем результаты модели [9], созданной на материале My Space, и достигшей только 14%-ной правильности определения суицидального риска по текстам блогов. Так же важно, что машина достигла того же уровня точности, что и результаты ручного анализа.

Обработка текста включала следующие стадии:
Лемматизация.
Преобразование слов в вектора.
Вычисление tf-idf³ коэффициентов, учитывающих информативность слова на основе его частотности.

Получение итогового вектора путем сложения векторов слов с коэффициентами tf-idf.

В качестве классификатора были использованы SVM (метод опорных векторов)⁴ и логистический регрессор.

Авторы провели тесты и посчитали точность (precision)⁵, полноту (recall)⁶ и F1-меру⁷ для каждой комбинации. Все эти меры важны для оценки качества модели.

Высокая точность говорит о том, что модель редко ошибается, утверждая, что пост имеет суицидальный характер. В свою очередь высокая полнота говорит о том, что модель мало пропускает «тревожные» посты.

Таким образом, модель может иметь высокую точность, но низкую полноту (неуверенная модель) или же высокую полноту и низкую точность (слишком уверенная модель).

Первый случай хорош, когда нам необходимо блокировать посты автоматически, и мы не хотим блокировать «хорошие» посты.

Второй случай хорош, если далее планируется вторичная проверка (модерация). Авторы не смогли добиться высокой точности и полноты одновременно, однако полученные результаты могут быть использованы как база для более качественного алгоритма.

В процессе работы авторы обнаружили две проблемы, которые имеют отношение к человеческому фактору, располагаются в двух конечных точках исследования – исходной и завершающей – и не могут быть решены машинными методами. Это проблема контекста и проблема этики.

Проблема контекста заключается в том, что, как сообщили участники кодирования твитов, для определения степени серьезности суицидального намерения часто требуется больше информации, чем содержится в тексте. Так, фразы «I want to die» (Я хочу умереть) или «I’ll kill myself» (Я убью себя) могут быть отражением особой фразеологии, свойственной пользователям определенного возраста, интересов и т.п. (ср. с русскими «Я умираю», «Я тебя убью» или «убейся апстену»).

Необходимый контекст может находиться в пределах сообщения (хештеги, изображения, смайлики и т.п.), в пределах аккаунта, в пределах Твиттера, за его пределами, и получить его автоматически, без личного контакта с пользователем бывает невозможно.

Проблема этики состоит в том, что, каким бы точным ни стало автоматическое детектирование суицидальных твитов, не вполне понятно, что делать с ним дальше.

Если, предположим, какой-то твит определен как «внушающий серьезное беспокойство», каковы могут быть действия по отношению к пользователю, его опубликовавшему, чтобы они не были нарушением приватности и других этических принципов? И кто должен совершать эти действия?

Тем не менее авторы исследования продолжили работу, расширяя возможности автоматического анализа суицидальных твитов. В работе B.O’Dea и соавт. [11] с использованием LIWC⁸ и регрессионного анализа ими были выявлены различия в лингвистических характеристиках твитов, не содержащих СУ-контента, твитов с СУ-контентом, относящихся к «безопасной» категории и «вызывающих серьезное беспокойство» суицидальных твитов.

По сравнению с твитами несуицидального содержания твиты, «вызывающие серьезное беспокойство», характеризуются большим количеством слов, большей долей местоимений первого лица с большим количеством упоминаний смерти, больше выражений гнева и больше концентрировались на настоящем.

Достоверность и перспективность разработок B.O’Dea и соавт. [11] основывается в числе прочего на том, что суицидальные сообщения определяются в них по тегам, непосредственно отражающим тему самоубийства. Существуют исследования, где суицидальный характер сообщения детектируется на основе анализа эмоций, выраженных в нем.

Например, логика M.Birjali и соавт. [2] состоит в следующем: в науке имеются данные о лингвистических особенностях «депрессивных» текстов и о связи депрессии с самоубийствами, кроме того, выражение эмоциональных состояний является достаточно хорошо разработанной областью автоматического анализа естественного языка (от подходов, основанных на bag-of-words, до машинного обучения), следовательно можно определять суицидальные посты по выраженности в них депрессивных, пессимистических чувств.

Такой подход вызывает сомнение, о чем свидетельствуют результаты G.Coppersmith и соавт. [6], где сопоставлялись сообщения в Twitter, написанные лицами, признававшимися в попытке самоубийства с указанием конкретной даты, лицами, признававшимися в диагностированной депрессии, и «нормальной» контрольной группой (авторы указывают, что опирались при классификации сообщений именно на собственные признания пользователей, что не способствует чистоте исследования, так как среди лиц, признавшихся в диагностированной депрессии, могли быть и совершавшие в прошлом попытку самоубийства).

На основе буквенных n-грамм⁹ были созданы модель текстов, написанных лицами, признававшимися в попытке самоубийства, и модель текстов «нормальных» пользователей, соответственно появилась возможность оценивать вероятность принадлежности любого текста к «суицидальной» и «несуицидальной» (контрольной) группе.

Для этого использовалась формула,

где CLMs – модель для «суицидальной» группы, CLMc – модель для контрольной группы, t – произвольный текст. При положительном значении c (t) более вероятно, что текст t принадлежит к «суицидальной» группе, при отрицательном – к контрольной.

Поскольку при анализе твитов отдельного пользователя иногда оказывается, что они попадают в разные группы, особое значение при создании «суицидальной» модели и анализе текстов придавалось твитам, предшествовавшим попытке самоубийства.

При таком подходе можно также сопоставить некоторое количество твитов, непосредственно предшествующих попытке самоубийства, и более отдаленных от нее по времени и попытаться обнаружить сигналы ухудшений.

После того как модели удалось с удовлетворительной точностью отграничить «суицидальные» твиты от твитов контрольной группы, авторы исследования использовали LIWC, чтобы выяснить, какими конкретно лексическими параметрами отличаются эти тексты.

Было установлено, что «суицидальные» твиты содержат больше, чем твиты контрольной группы, слов из категорий DEATH, HEALTH, SAD, THEY, I, SEXUAL, FILLER, SWEAR, ANGER, NEGATIVE EMOTIONS. Не все из этих категорий напрямую связаны с темой самоубийства.

Гораздо менее часто в твитах лиц, совершавших попытку самоубийства, используется категория ASSENT, которая включает, например, такие слова, как agree и yes.

Сопоставление твитов «суицидальной» группы и пользователей, признавшихся в диагностированной депрессии, также позволило обнаружить различия между ними, которые были более ярко выражены, если для сопоставления брались не все твиты суицидальных пользователей за период до попытки самоубийства, но только непосредственно предшествовавшие.

Авторы предупреждают, что результаты их исследования свидетельствуют лишь о том, что в результате машинного обучения можно достигнуть дифференциации между исследуемыми группами, превышающей порог случайности, однако из-за ограниченности выборки и post-hoc характера исследования их нельзя рассматривать как предсказание попытки самоубийства.

Кроме того, большую часть выборки составили девушки в возрасте 15–24 лет, что не позволяет считать ее достаточно репрезентативной для всей аудитории Интернета и для группы максимального суицидального риска в США (белые мужчины среднего возраста).

Проблема разграничения дискурса, связанного с психическими заболеваниями, и суицидального дискурса решается также в [7], где машинными методами моделируется изменение речевого поведения у участников сообществ, посвященных психическому здоровью, в сети Reddit, когда у них появляются СУ-намерения. Моделью достигнута точность 77,5%.

Выше мы уже затрагивали проблему коммуникативного поведения СУ/СХ-сообществ в социальных сетях, в связи с модерационной политикой Instagram. Автоматический анализ текстов на основе n-грамм позволяет исследовать пути распространения СУ/СХ-информации в социальных сетях и формирование контактов между пользователями, интересующимися этой темой.

Высокую плотность взаимных связей пользователей сети Twitter, в сообщениях которых содержатся (по оценке экспертов) суицидальные мысли, и активность распространения подобного контента обнаружило исследование G.B.Colomboa и соавт. [5], в котором были проанализированы такие сообщения за 6 месяцев, начиная с февраля 2014 года.

На основе выборки из 4 543 твитов, в которых содержатся суицидальные мысли, были составлены, проанализированы и сопоставлены с графами по всем пользователям Твиттера графы подписчиков, друзей и взаимных подписок для «суицидальных» пользователей.

Данное исследование отличается от предыдущих тем, что первичный материал для определения того, какие сообщения будут отнесены к суицидальным, авторы собирали за пределами Твиттера – на форумах, посвященных обсуждению суицидальных намерений или содержащих большое и легко идентифицируемое количество подобного материала.

Всего было получено 2 000 анонимных сообщений, оценка которых как содержащих или не содержащих суицидальный контент была (опять же в отличие от ранее описанных исследований) выполнена методом краудсорсинга на онлайновой-платформе Crowdflower.

Этическая сторона и достоверность такого метода аннотирования сообщений с потенциально опасным содержанием не являются, с нашей точки зрения, безукоризненными. Дальнейшая процедура была стандартной: авторами был составлен список n-грамм (n от 1 до 5), для которых отношение tf-idf по классам суицидальное/нормальное максимально, то есть тех n-грамм, которые лучше всего «детектируют» суицидальный характер текста.

Фильтрация этого списка вручную экспертами позволила получить список из 62 ключевых фраз, который очевидно отличается от списков, задаваемых априорно, в первую очередь тем, что только в нем только по три раза встречаются kill и suicide/suicidal, пять раз – die, один – death.

Видно, что при такой методике не все кодовые фразы представляют собой законченные словосочетания (например, Wanting to kill yourself and… My death would…).

Также специфика подхода G.B.Colomboa и соавт. [5] состоит в определении того, что понимается под СУ-контентом. В отличие от ранее рассмотренных исследований здесь на первом этапе было использовано расширительное понимание, включающее:

сообщения, содержащие свидетельство СУ-намерений, к которым также относятся выражения полного отчаяния, даже если они не сопровождаются упоминанием суицида;
твиты, являющиеся частью какой-либо кампании (например, петиции);
информационные сообщения, сообщения, предлагающие помощь и поддержку;
шутливое, несерьезное упоминание самоубийства;
твиты в память о ком-нибудь, твиты, выражающие соболезнования;
новости о чьем-то самоубийстве.

Для классификации по этим категориям из собранного массива в 4 миллиона твитов случайным образом была отобрана одна тысяча, которая была аннотирована с использованием той же краудсорсинговой платформы. Затем из 601 твита, который не менее, чем 75% аннотаторов определили одинаково, был выбран 71 твит, относящийся к первой категории.

После добавления из базы твитов с текстом, полностью дублирующим исходные, образовался массив в 4 553 сообщения, принадлежащих 3 535 пользователей, у которых в общей сложности оказалось 2 376 559 подписчиков и 1 600 498 друзей (под друзьями здесь понимаются пользователи, на которых подписан владелец аккаунта).

Несмотря на признание авторов, что их данных, по всей видимости, недостаточно для полной объективности исследования, были получены достаточно интересные результаты.

Так, было выяснено, что среднее количество подписчиков у пользователей, публикующих сообщения о суицидальных намерениях (528 подписчиков), более чем в 2 раза больше среднего по Twitter (208). Это означает, что информацию от таких пользователей получает больше людей.

Также средний путь (кратчайшее расстояние) от одного пользователя до другого оказался значительно короче, чем для всей сети в целом.

Анализ количества друзей и взаимных подписок показал, что 20% пользователей, публикующих СУ-сообщения, подписаны друг на друга, образуя тем самым сообщество, что не подтверждает результаты предшествующих исследований, говорившие о разобщенности и изолированности «суицидальных» пользователей.

Наконец, при анализе графа ретвитов (в среднем каждый из 4 543 твитов «ретвитнули» 75 раз) было обнаружено, что СУ-контент распространяется не только между пользователями, входящими в исходную группу публикаторов суицидальных сообщений. Ретвиты таких сообщений делают пользователи, не принадлежащие к ней и не связанные с ней, способствуя таким образом распространению суицидального контента за пределами СУ-сообщества.

Как было показано выше, интернет не только усугубляет проблемы лиц, склонных к нанесению себе вреда, но и создает среду, в которой подобные лица могут получить помощь. Эта помощь может оказываться как профессионалами, так и просто членами интернет-сообщества, комментирующими сообщения пользователя, находящегося в «группе риска». В последнем случае особую значимость приобретает выявление характеристик полезного, помогающего комментария (helpful comment), отличающего его от бесполезного или вредного.

Попытка решения этой задачи была предпринята в работе R.Kavuluru и соавт. [10]. Данные собирались из сети Reddit и ее Suicide Watch форумов. Целью авторов было обучить модель для автоматического определения комментариев, полезных для предотвращения суицида, что впоследствии могло бы помочь модераторам в поиске таких комментариев.

В социальной сети Reddit подписчики могут публиковать ссылки или текстовые сообщения, комментировать их, ставить публикациям и комментариям оценку «нравится» или «не нравится». Количество оценок «нравится» поднимает сообщение вверх на «доске новостей» Reddit, соответственно его видят больше подписчиков и гостей.

Кроме того, эта сеть содержит подразделы (форумы) для обсуждения конкретных проблем, в том числе психологических Ее подраздел (subreddit) Suicide Watch насчитывает 40 000 подписчиков. В ней работают 13 модераторов, удаляющих комментарии, выходящие за пределы правил.

Однако понятия «помогающий» (с точки зрения помощи потенциальным самоубийцам) комментарий и методики определения таких комментариев не существует, что делает своевременную модерацию настолько объемного материала затруднительной (важность быстрой модерации для сообщества, где общаются потенциальные самоубийцы, очевидна).

В качестве материала были использованы 3 000 комментариев, случайным образом выбранных из исходного массива в 11 730 сообщений и 36 563 относящихся к ним комментариев, опубликованных на Suicide Watch за два года (апрель 2013–апрель 2015). Эти три тысячи комментариев были предварительно размечены студентами, специализирующимися по методам предотвращения самоубийств.

Комментарии оценивались как «не помогающие», «помогающие в общем» или «помогающие в конкретном случае» по отношению к сообщению, к которому они были сделаны¹⁰

Критерии, по которым определялась принадлежность комментария к тому или иному классу, были разработаны авторами исследования и состояли в следующем.

«Помогающие в общем» комментарии нацелены на то, чтобы помочь автору исходного сообщения и потенциально предотвратить СУ/СХ. Сюда включаются комментарии, содержащие информацию о горячих линиях, советы обратиться за помощью к врачу, членам семьи и т.п., выражение понимания ситуации (обязательно с выражением надежды, что она улучшится).

В случае если в исходном сообщении не содержится никакой конкретной информации, кроме намерения покончить с собой, в качестве «полезных в общем» комментариев рассматриваются вопросы, помогающие уточнить ситуацию.

«Помогающие в конкретном случае» комментарии соответствуют тем же критериям, что «полезные в общем», но направлены на конкретные проблемы, упомянутые в исходном сообщении. Сюда могут относиться советы позвонить 911 или членам семьи, если исходное сообщение содержит требующие этого детали, например, указание на то, что уже использован какой-то препарат.

«Не помогающие» комментарии – это комментарии, выражающие осуждение, краткие и поверхностные сообщения о том, что этого не стоит делать, стереотипные ответы типа «Брось ты это» или «Со всеми бывает» и т.п.

Также в эту группу относятся комментарии, в которых комментатор, вместо того чтобы поставить своей целью предотвращение самоубийства, обсуждает тему, затронутую в сообщении, защищая иную точку зрения, чем автор, т.е. вступает с ним в дискуссию.

Для построения модели разработчики использовали следующие признаки комментариев.

Униграммы и биграммы из комментариев и сообщения, к которому они относились.
Психометрические показатели комментариев и сообщения.
Графы RST¹¹ (а точнее, их популярные подграфы) также для комментариев и самого сообщения.

Второй набор признаков собирался с помощью программы LIWC. Третий – с помощью программы на языке Scala.

В качестве модели авторы использовали метод опорных векторов (SVM). Признаками модели стали указанные выше признаки и их комбинации. Итоговые результаты довольно хороши и показывают очень высокие значения полноты (99,92%) и достаточно хорошие значения точности (~82%). Также авторы протестировали модели, использующие ансамбли решений¹² (на них максимум точности – 84,3%).

В то же время исследование, как и большинство описанных выше, выявило проблему на этапе работы экспертов: чем больше людей одновременно оценивает текст, тем больший разброс в результатах получается. Это очевидно даже для трех экспертов: 70% совпадений у двух экспертов, 50% – у трех.

Проблемы разработки подобных моделей для русского языка. Узким местом всех исследований, касающихся обучения моделей для анализа естественного языка, являются, в первую очередь, сбор и аннотирование корпуса текстов для обучения. Ввиду разнообразия словаря и грамматических форм русского языка количество данных для достижения конкурентных результатов необходимо значительно увеличить по сравнению с аналогичными исследованиями для английского языка.

Следующая проблема не является специфичной для русского языка, однако не решена до настоящего времени. В рассмотренных выше исследованиях, как правило, использовалось совмещение ручного и автоматического подхода на разных стадиях отбора, аннотирования и разметки текстов.

Таким образом, заявленная при разметке степень опасности контента во многом зависит от субъективного мнения эксперта, проводящего аннотирование данных. Открытым также остается вопрос, являются ли языковые маркеры СУ-контента универсальными для всех интернет-ресурсов или же требуется выделение уникальных маркеров для каждого ресурса.

Актуальные проблемы представляют также поиск и систематизация ресурсов – источников СУи СХ-контента в русскоязычном сегменте интернета. Это, в первую очередь, тематические форумы и сайты, однако критичным также является выявление тематических сообществ в крупнейших русскоязычных социальных сетях, так как в этом случае существует риск распространения опасного контента среди рядовых пользователей. Исследования в этом направлении уже начаты [1].

Существует еще одна проблема, характерная для всех русскоязычных исследований по анализу естественного языка. Одной из стадий обучения модели является представление текстовых данных в численной форме, позволяющей проводить дальнейшую компьютерную обработку.

Этот процесс осуществляется с помощью так называемых языковых моделей, предварительно обученных на корпусах текстов для воссоздания правил языка.

Языковые модели постоянно улучшаются, однако развитие русскоязычных моделей идет с отставанием от англоязычных, что усложняет создание конкурентоспособных решений.

ЛИТЕРАТУРА

Брябрина Т.В., Гиберт А.И., Штрахова А.В. Опыт контент-анализа суицидальных высказываний в сети интернет лиц с различным уровнем суицидальной активности // Вестник ЮУрГУ. Серия «Психология». 2016. Т. 9, № 3. С. 35–49.
Birjali M., Beni-Hssane A., Erritali M. Prediction of suicidal ideation in Twitter Data using machine learning algorithms // International Arab Conference on Information Technology. 2016.
Brown R.C. #cutting: Non-suicidal self-injury (NSSI) on Instagram // Psychological Medicine. 2017. P. 1– 10.
Chancellor S., Pater J., Clear T., Gilbert E., De Choudhury M. #thygapp: Instagram content moderation and lexical variation in Pro-Eating Disorder Communities // Proceedings of the ACM Conference on Computer Supported Cooperative Work (CSCW) ACM. 2016.
Colomboa G.B., Burnapa P., Hodoroga A., Scourfieldb J. Analysing the connectivity and communication of suicidal users on twitter // Computer Communications. 2016. Vol. 73. P. 291–300.
Coppersmith G., Leary R., Whyne E., Wood T. Quantifying suicidal ideation via language usage on social media // Joint Statistics Meetings Proceedings. Statistical Computing Section. JSM. 2015.
De Choudhury M., Kiciman E., Dredze M., Coppersmith G., Kumar M. Discovering shifts to suicidal ideation from mental health content in social media. // Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. ACM. 2016. P. 2098–2110.
Fischer T., Goldwich A.D., Haentzschel O. Instagram leaks // Neon 5. 2015. P. 16–21.
Huang X., Li X., Liu T., Chiu D., Zhu T., Zhang L. Topic model for identifying suicidal ideation in chinese microblog // Proceedings of the 29th Pacific Asia Conference on Language, Information and Computation. 2015. P. 553–562.
Kavuluru R., Williams A.G., Ramos-Morales M., Haye L., Holaday T., Cerel J. Classification of helpful comments on online Suicide Watch Forums // ACM BCB. 2016. P. 32–40.
O’Dea B., Wan S., Batterham P.J., Calear A.L., Paris C., Christensen H. Detecting suicidality on Twitter // Internet Interventions. 2015. P. 183–188.
Pennebaker J.W., Chung C. K., Ireland M., Gonzales A., Booth R.J. The development and psychometric properties of LIWC // LIWC.net, Austin, Texas. 2017.

Источник: «Социальная и клиническая психиатрия». 2018. Т. 18, No 4.

Об авторах

Марина Юрьевна Сидорова – доктор филологических наук, доцент, профессор кафедры русского языка филологического факультета Московского государственного университета им. М.В.Ломоносова.
Диана Геннадьевна Мацепуро – магистрантка исторического факультета Московского государственного университета им.
М.В.Ломоносова.
Абдулла Зиядуллаевич Гайбуллаев – Windows-разработчик, Консультант Плюс.

Смотрите также:

ПРИМЕЧАНИЕ

СУ – самоубийство; СХ – селфхарм (самоповреждение).
Такие твиты должны были содержать суицидальное намерение, выраженное в форме утверждения, конкретный план самоубийства, сообщения об имевших место попытках и т.п.
tf-idf–TermFrequency-InverseDocumentFrequency, гибридная метрика, учитывающая значимость слова и оценку его принадлежности классу.
SVM – метод опорных векторов, один из методов машинного обучения, который позволяет классифицировать объекты на несколько классов. Идея заключается в том, что в пространстве признаков строится гипер- плоскость (кривая поверхность), которая разделяет элементы на 2 класса. Для большего количества классов, строится больше гиперплоскостей.
Точность – количество сообщений, правильно распознанных как суи- цидальные, деленное на общее количество сообщений, распознанных как суицидальное.
Полнота – количество сообщений, правильно распознанных как суи- цидальные, деленное на общее количество суицидальных сообщений.
F-мера – 2 Precision Recall / Precision + Recall
LIWC–Linguistic Inquiry Word Count, инструмент для оценки психометрических показателей слов по заданным категориям (злость, грусть, смерть, друзья, клятва и т. д.). Например, слова alive, dead, kill, mourn, suicide попадают в категорию DEATH.
n-грамма – цепочка из n-слов или n-букв (символов) из текста. Исполь- зуется для расширения метода ключевых слов, в котором текст анали- зируется по наличию ключевых слов (если есть слово x, то значит сообщение про суицид). N-граммы позволяют использовать не только слова, но и пары, тройки слов или символов и т. д. В исследованиях Копперсмит с коллегами используются буквенные n-граммы, вклю- чающие до 5 символов. Например, если начать делить на n-граммы предложение «For illustration, in this sentence we would observe…», в нем обнаружатся n-граммы “for i”, “or il”, “r ill”, “ illu”, “illus” и т.п. [6].
Обычно при изложении англоязычных исследований мы передаем английское helpful с помощью прилагательного полезный. Если в других случаях различие в значении этих прилагательных (русское происходит от слова польза, английское – от слова помощь) неважно, то здесь оно актуально, поэтому используется причастие помогающий.
RST включает набор признаков, определяющих связность и дискур- сивную организацию текста. В исследовании было использовано 18 таких признаков: атрибутивность, фон, причина, сравнение, условие, контраст и т.п.
Ансамбль решений – метод, использующий несколько различных алгоритмов одновременно. Например, это может быть голосование: каждый алгоритм голосует за один из классов, побеждает большинство.

Сидорова М.Ю., Мацепуро Д.Г., Гайбуллаев А.З. Киберсамоубийство и цифровой селфхарм: общая проблематика и компьютерные решения. Часть 2

ЛИТЕРАТУРА

Об авторах

ПРИМЕЧАНИЕ

Категории

Публикации

Дозорцева Е.Г., Медведева А.С. Сексуальный онлайн груминг как объект психологического исследования

Макарова Е.А. Самоповреждающее поведение детей и подростков в сети интернет

Гришина А.В. Психологические факторы формирования игровой компьютерной зависимости в младшем подростковом возрасте

Стельмах С.А., Керимова Я. Компьютерно-игровая зависимость у студентов

Богданович Н.В., Делибалт В.В. Девиантное онлайн-поведение: от классификации видов к анализу программ и технологий помощи

ОБЩЕНИЕ

ЛИТЕРАТУРА

Об авторах

ПРИМЕЧАНИЕ

Статьи по теме

Категории

Метки

Публикации

ОБЩЕНИЕ