Атака ботов

Иван Корнеев: Со своей стороны «ВКонтакте» принимает глобальные меры по мониторингу и пресечению противоправного контента, который в конечном итоге бьет по нашей репутации и по площадке в целом. У нас есть ряд мер, собственных технических наработок с использованием искусственного интеллекта. Это помогает нам анализировать тексты, искать в них какие-то общие зацепки, общий подход к формированию слов в противоправном и потенциально опасном контенте. В совокупности это позволяет нам отслеживать тему подстрекательства к суициду и удалять этот контент в случае необходимости. Мы блокируем конкретные группы, где аккумулируется такая информация.

Но за последние месяцы —

Они постоянно меняются, размываются какими-либо символами. Отслеживать их становится сложнее. За этим всплеском мы видим целенаправленную атаку ботов. Это очевидно, потому что появляется несколько тысяч страниц, созданных исключительно для того, чтобы публиковать такие хештеги. То есть вот новые аккаунты зарегистрировались, и первое и единственное, что сделали, написали: «Тихий дом. Возьми меня в игру. Разбуди меня в 4.20». И всё, больше на этих страницах ничего не происходит.

— Наверное, если это целенаправленная атака, вы попытались как-то в этом разобраться? Может быть, кто-то мародерствует, создает себе трафик на трагической и популярной теме, чтобы потом превратиться, например, в интернет-магазин? Или реальные организаторы «групп смерти», после того, как за них взялось следствие, — начали атаку, чтобы девальвировать сущность происходящего и затеряться в мутной воде?

И.К.: Быть может,

Но такого не происходит, потому что мы успеваем это все блокировать в еще зачаточном состоянии. Наша система с февраля фиксирует, что всплески активности идут абсолютно автоматизированно, и мы не думаем, что это направлено на детей — просто создается информационный вал. Кому и зачем это нужно, мы не знаем.

Но, повторюсь, мы обработали 3 миллиона сообщений с так называемыми суицидальными хештегами, и они большей частью как раз и были вот на этих пустых страницах.

В случае блокировки пользователь видел на своей странице опросник, который выводится автоматически. Ему нужно ответить на следующий вопрос: «Зачем вы публиковали материал, за который были заблокированы? » Варианты ответов: «Меня кто-то попросил», «Я выражаю этим свою позицию», «Я хотел привлечь внимание к этой проблеме, чтобы обезопасить своих близких». Если вариант первый или второй, мы сразу же отправляем пользователя к нашим партнерам-психологам из фонда помощи подросткам в кризисной ситуации «Твоя Территория» (см. ниже интервью с руководителем фонда.— Ред.). Ведь очевидно: если человек осознанно размещал суицидальный хештег в желании привлечь неких «кураторов», ему нужно срочно помочь, и мы его связываем со специалистами.

А если выбран третий ответ, мы ему говорим: «Пожалуйста, не нужно распространять самому эти хештеги, о проблеме можно и нужно говорить, но эти маркеры в Сети выгодны тем, кто создает саму проблему. Мы возвращаем вашу страницу, но предупреждаем, что повторное использование тех же хештегов приведет к блокировке на еще более длительный срок». Вместо этого мы советуем отправлять ссылки на подозрительные страницы пользователей и сообщества в поддержку «ВКонтакте»для дальнейшей блокировки в случае необходимости.

Вообще, у нас есть два подхода к блокировке: первый — навсегда, если мотив сообщения был однозначно направлен на призыв к суициду. Второй, уже описанный, — блокировка до первого входа с просьбой ответить на вышеприведенный вопрос. Ответ принимается, и возвращается доступ к странице. Но система включена — если ты продолжил заниматься тем же, хотя мы тебя предупредили: каждая последующая блокировка будет увеличивать срок недоступности.

— Есть ли у вас какие-то ответы на вопрос: для чего пользователи размещают суицидальные хештеги?

И.К.: Бывает, пользователь сообщает, что он размещал ссылки на группы и страницы с суицидальным контентом для того, чтобы помочь нам их увидеть. Мы просим не делать это публично: нужно написать в поддержку. Не стоит об этом кричать во всеуслышание — тот контент, который пользователь размещает из благих целей, может привлечь и увеличить зло.

Приватность «Группы смерти» не спасет

— Что, кроме хештегов, является основанием для блокировки?

И.К.: Мы мониторим весь контент, который имеет признаки суицидальной направленности. Но если просто прикреплена какая-то фотка кита — в этом нет ничего интересного, хотя его и пытаются сделать символом суицида. Разумеется, все нужно рассматривать в совокупности множества факторов, весь контент на странице нужно изучать — это довольно долгая и кропотливая работа. И мы стараемся: с начала января, как я уже говорил, более 3 миллионов единиц контента было обработано.

Стопроцентным основанием для блокировки может послужить агитация за какое-то действие по этой теме. Мы заходим в сообщество или к пользователю и смотрим, что он там пишет. Если, например, у них там игра «Вырежи себе на руке кита» — это однозначное основание для блокировки. Так же безусловное основание — наличие инструкций по совершению суицида. В таких случаях — блокируем не раздумывая. Так же однозначно поступаем в том случае, когда начинается массовая рассылка. Например, пользователь на протяжении небольшого времени опубликовал 25 постов с суицидальными стишками. Значит, это — спамер, мы его блокируем.

— А если появляется информация о том, что группа, в которой вот именно сейчас склоняют ребенка к суициду, является закрытой, — у вас есть полномочия как-то вмешаться?

ЕвгенийКрасников: Мы реагируем сразу, если нажата кнопка «Пожаловаться». Мы увидим контент, на который пожаловались, потому что там, возможно, происходит что-то противоправное.

— Для чего были созданы закрытые группы?

Е.К.: Сервис был задуман для частных групп друзей, объединенных путешествиями или другими какими-то общими интересами. Например, для однокурсников, чтобы они могли делиться внутренней информацией, — рефератами, лекциями, фотографиями. Отнимать эту функциональность потому, что мы сейчас столкнулись с такой проблемой, неправильно. Мы реагируем на жалобы.

— Если подстрекательства к суициду происходят в чате, можете ли вы также реагировать?

Е.К.: Если вы видите такой контент в чате или в переписке, то об этом тоже обязательно нужно пожаловаться, выделив сообщение и нажав соответствующую кнопку, тогда модераторы получат ваш сигнал.

— Модератор увидит и фото изрезанных рук, и видео, которое детям предлагают смотреть?

Е.К: Да, если там это есть. Такое мы блокируем однозначно, руководствуясь нашими взглядами и правилами нашей площадки.

— Передаете ли вы эти данные в следственные органы?

Е.К.: Переписку мы, по законам РФ, можем предоставить только с санкции суда.

— Но если вы понимаете, что перед вами один из кураторов «Групп смерти», и как бы вы его ни блокировали, — он через несколько часов «восстанет из пепла» с других страниц и продолжит начатое?

И.К.: Любую меру, которая нами применяется, стараются быстро обходить. Это превращается с нашей стороны в догонялки и растет как снежный ком. Мы делаем что-то — они придумывают новое. Мы узнаем о новых подходах — они опять придумывают, как обойти нашу защиту.

Проблема действительно сложная, технически ее решить практически невозможно. Заблокировали страницу, заблокировали создателя этого сообщества, к примеру, если это была «Группа смерти». Но ему ничто технически не мешает взять телефон, вставить новую симку и сделать новую страницу.

— Так вот, может быть, и есть смысл сразу же передавать следственным органам айпи-адрес, если человек совершает преступление?

И.К.: Мы не имеем полномочий давать однозначную юридическую оценку происходящему. Если отталкиваться от нашей статистики, то с 24 января мы дали бы следственным органам около 600 тысяч ботов. Все структуры автоматически бы захлебнулись от такого потока информации.

— Но, наверное, в этом количестве не так-то уж много и тех, кто напрямую склоняет детей к суициду?

И.К.: Скажем так, за мою практику я не видел однозначных страниц, где применяли бы какой-то метод внушения, когда кого-то заставляли пойти и прыгнуть с крыши, например.

— Давайте вспомним тогда Филиппа Будейкина, который под ником «Лис» именно этим и занимался. Он, как известно, арестован, скоро предстанет перед судом. У него были десятки групп, и он с одногоIP-адреса доводил подростков до суицида.

И.К.: По поводу одного адреса я бы не стал утверждать. Есть технические возможности размывать адрес, используя прокси-сервер, динамический адрес, который выдает провайдер с каждым подключением…

Миграция

— Подростки, уже выполнившие первые задания «Групп смерти», находятся в таком состоянии, когда они не просто верят, они веруют в своего некоего куратора—–кумира. Вот такой градус ситуации…

Е.К.: Каждый раз, когда кто-то пытается зайти на уже заблокированную группу, в которой был замечен подобный контент, — у него появляется надпись: «Сообщество заблокировано в связи с распространением суицидального контента. Если вам нужна помощь, заходите на линию «Твоя Территория онлайн». «Твоя территория» — фактически это единственный в России фонд, объединивший профессиональных психологов, умеющих эффективно работать с подростками в интернете. Другие «горячие линии» выводят на звонки, но подростки уже привыкли общаться текстовыми сообщениям друг с другом. Набрать номер по телефону и признаваться незнакомому человеку в том, что его волнует, — это для многих большой психологический барьер. Проще написать текстом в чате, анонимно и бесплатно. Мы протестировали такой формат работы и в итоге заключили договор о поддержке фонда «Твоя территория».

В последнее время они фиксируют довольно большой всплеск переходов, каждый месяц прибавляется не меньше, чем по тысяче подростков. Есть ребята, которые время от времени отправляют психологам, с которыми они давно и много общаются, ссылки на так называемые «группы смерти». Такие сообщества мы также анализируем и при необходимости блокируем.

— Это — хорошая миграция, просто замечательная: из «групп смерти» попасть к нормальным, профессиональным психологам. Но есть и другая, известно, что суицидальный контент в последнее время перетек в другие социальные сети.

Е.К.: Переток этой активности в другие социальные сети связан с тем, что мы успешно и эффективно боремся с ней на своей площадке. По сообщениям СМИ, теперь «Инстаграм» столкнулся с этой проблемой, представители компании заявили, что будут изучать вопрос и принимать меры. Мы надеемся, что так и будет, и что наш опыт борьбы, о котором мы публично рассказываем, возможно, поможет коллегам. Они могут перенять у нас какую-то тактику, взять на вооружение какие-то механизмы. К примеру, у них появился такой же список советов, они также отсылают своих пользователей к странице психологической помощи.

Инструкция по применению

— Нам пишет читатель: «Блокировка в «ВКонтакте» происходит какая-то выборочная. Я прислал скриншоты, отправил сначала одному агенту. Потом надо было связаться с другим. Но источник так и не заблокировали».

И.К.: Он, скорее всего, не прав в своей субъективной оценке. То, что группа называется, к примеру, «Тихий дом», и в ней фото китов — не причина для нашего вмешательства. Причина, если идут однозначные провокации, например, объясняют, как резать вены, или призывают: «Прыгай с крыши». У пользователя, посчитавшего, что его проигнорировали, можно спросить: а на что он пожаловался? Вы можете сами открыть эту страницу и увидеть, что она не несет какой-то потенциальной угрозы.

Нам, кстати, не нужны никакие скриншоты, потому что мы сами видим всю информацию. Скриншоты можно и подделать. А мы заходим по жалобе в какую-то группу, и сами видим контент, и принимаем решение.

Вопрос заключается еще и в том, каким образом пользователь жалуется. Если вы нажимаете кнопку «Пожаловаться — призыв к суициду» — это уходит к модераторам. Если идете в поддержку, ваша жалоба попадает к агентам. Время принятия решения у модератора довольно ограничено. У агента вы можете ждать ответа дольше. Кнопка «Пожаловаться» эффективнее, если нужно действовать прямо сейчас.

— Давайте сформулируем инструкцию для условно не продвинутой аудитории, которая искренне пытается противостоять «группам смерти».

Е.К.: — Инструкция предельно проста, вы нажимаете кнопку: «Пожаловаться — Призыв к суициду». Ваша жалоба зафиксирована, и будет обработана модераторами. Это—самый быстрый, простой и продуктивный способ. Но вы даже можете не выбирать ничего из перечня причин. То, что вы выбираете причину, к примеру, насилие, наркотики или суицид, — эти маркировки нужны только для акцентирования внимания модератора. Модератор видит вашу пометку: например, что это насилие, и принимает решение, исходя из оценки всего контекста записи, на которую вы пожаловались.

Мы изначально отказались от такого подхода, который применяется в ряде других сервисов, когда тот контент, на который жалуются, должен набрать определенное количество подобных жалоб, чтобы на него обратили внимание модераторы. Наш подход: даже если есть одна жалоба от одного пользователя, наш модератор должен ее проверить и дать свою оценку: действительно ли этот контент является противозаконным или противоправным?

Нажали кнопку — мы реагируем. Возможно, кого-то не устраивает скорость реакции. Но в рамках нашей площадки, где 95 миллионов активных пользователей в месяц, мы реагируем достаточно быстро. За сутки получаем несколько миллионов жалоб. Мы укладываемся в минуты, реже в часы. То есть речь о днях здесь не идет.

— А если в переписке подросткам показывают видео, перенасыщенное эпизодами разнообразных наглядных способов суицида, убийств животных и все это сопровождается низкочастотной музыкой с душераздирающими фоновыми криками?

И.К.: Если мы видим такой контент, то блокируем моментально, без вопросов. Но, понимаете, если кто-то загружает видео, и никто не жалуется, откуда мы можем знать о том, что это происходит? У нас есть автоматическое реагирование системы на хештеги, но на визуально происходящее — нет. Технологии пока до этого еще не дошли, но уже близки к этому.

Е.К.: Когда человек, находясь в социуме Сети, видит что-то противоправное, нормальная реакция — попытаться это как-то остановить. Как если бы это происходит дома или в реальном обществе — должна быть необходимость поддерживать какой-то элемент гигиены в той среде, в которой ты обитаешь. Для этого есть наша кнопка «Пожаловаться», поэтому мы старательно призываем эти жалобы отправлять. На них есть конкретная реакция, прямая связь с командой модерации в «ВКонтакте».

Галина Мурсалиева, обозреватель «Новой», при участии Сергея Соколова, зам главного редактора «Новой газеты»

Санкт-Петербург—Москва

Скажите ребенку: «Никто не имеет права решать, когда тебе умирать»

На вопросы «Новой» отвечает директор благотворительного фонда «Твоя территория», психолог Екатерина Федорова

— Екатерина, расскажите о тех, кто работает в фонде.

— Основной наш состав — психологи-консультанты, с которыми мы работали на телефоне доверия для детей, подростков и родителей при «Детском кризисном центре». Однако организация закрылась из-за отсутствия финансирования. Но на одной научной конференции мы имели возможность послушать специалиста из Европы, который рассказывал о линии психологической помощи онлайн. Он говорил о том, что современным детям в некоторых ситуациях гораздо проще и привычнее общаться с психологами в форме переписки в режиме реального времени, нежели поделиться своей историей по телефону. Позже мы узнали о том, что подобная помощь онлайн существует практически во всех европейских странах. Мы, с помощью благотворительных сборов, начали работу зимой 2014 года. Тогда у нас было в штате 6 психологов.

После вашей публикации «Группы смерти» в мае 2016 года социальная сеть в «ВКонтакте», заблокировав ряд опасных групп, разместила на их месте ссылку на нашу линию помощи. И количество обращений подростков сразу резко возросло. Нам пришлось серьезно расширить штат. C февраля на линии помощи дежурят 35 психологов-консультантов: 26 из Петербурга и 9 специалистов из Городского психолого-педагогического центра Москвы. Также в свободное от основной работы время нам помогают около 50 психологов-волонтеров.

Мы сотрудничаем с двумя вузами: СПбГУ (Санкт-Петербургский государственный университет) и МГППУ (Московский государственный психолого-педагогический университет). Благодаря этому сотрудничеству и поддержке благотворителей, мы ставим перед собой задачу: выстроить работу так, чтобы ни одна просьба о помощи не осталась без серьезного внимания. На линию одновременно поступают запросы из разных регионов, и консультанты принимают все подряд обращения, уделяя внимание прежде всего запросам кризисного характера — это проблемы переживания утраты, насилия и мысли о суициде. Основной возраст обратившихся за помощью — дети до 18 лет.

— То есть вам пишут и те ребята, которые находились под воздействием «групп смерти»?

— Да, мы обратили внимание на то, что с каждой блокировкой опасных групп в «ВК», происходит всплеск обращений к нам. Дети видят заблокированное сообщество и объявление о том, что рядом «Твоя территория» — бесплатная и анонимная помощь психологов. И идут к нам. Есть ребята, которые уже выполняли какие-то задания «групп смерти», и чаще всего они говорят о том, что не хотят жить. Сообщают дети об этом в разных формах,опытные консультанты, работая с ними, видят, что есть две категории попавших под влияние этого циничного и преступного сообщества. Те, у кого подстрекательства к суициду падают на очень благодатную почву, так как они живут в ситуации долговременных, непереносимых и травмирующих обстоятельств, и те, кто выполнял задания «групп смерти» просто из любопытства, из-за подростковой самоуверенности, тяги к чему-то опасному.

— Со второй категорией легче?

— Нет, потому что, конечно, можно прийти в эти группы из любопытства, но там явно действуют с помощью манипуляций, сектантских технологий, которые могут подействовать даже на взрослого человека. А подросток более уязвим: он эмоционален и раним, он всегда максималист, и, когда ему внушают, что здесь, на земле, все плохо, а там — прекрасно, он хочет узнать: а как там? То есть дети говорят с нашими консультантами о суициде, как о чем-то несерьезном, они просто не могут оценить реальных последствий. Им кажется, что, погибнув, они встретятся с кем–то, кто уже ушел из жизни, у них совершенно мифические представления о том, что будет после. Они не понимают конечности, непоправимости суицида, того, что будет трагедия, которую нельзя отменить. Потому что им это все преподносится как игра, легко ими в силу возраста принимаемая.

Нельзя подросткам внушать мысль о привлекательности суицида, это не только прямое нарушение закона, но и нарушение всех мыслимых человеческих норм. Это, по сути, убийство: говорить не зрелым еще, растущим людям, что там тебе будет легко, ты испытаешь счастье.

— Как вы работаете с такими ребятами, ощущаете ли, что им действительно можно помочь?

—Мы убеждаем детей в том, что НИКТО НЕ ИМЕЕТ ПРАВА говорить человеку, когда нужно завершить свою жизнь. Психологи работают с тем, чтобы снять воздействие придуманных историй, которые детям внушают: о том, что кто-то там с кем-то встретится и так далее. Объясняют, что это обман. Говорят, что в принципе вообще с незнакомыми людьми разговаривать о таких вещах не нужно. Важно блокировать тех, кто почему-то решил, что можно лезть в душу с непонятными идеями. Это не простая работа. Дети пишут, что они не могут об этом сказать взрослым: ни учителю, ни близким. И психолог в таком случае говорит, что об этом нужно и даже необходимо рассказать. Потому что когда кто-то предлагает тебе игру, которая может привести к смерти, он совершает преступление. Трагедия может произойти даже при выполнении первых заданий. Это опасно, когда тебе говорят, чтобы ты сфотографировался на краю крыши. Может случиться несчастный случай.

Дети, особенно в подростковом возрасте, часто впадают в состояние острого эмоционального отчаяния после общения с «группами смерти». Это состояние может длиться у ребенка в течение нескольких часов, и если он в это время помощи не получает, с ним может случиться все что угодно. Когда он общается с нашими специалистами, интенсивность переживаний спадает, это видно по переписке: становится легче, уходит острота переживания.

Но есть и другая категория детей: тех, которые включены в ситуацию настолько, что намерение покончить с собой у них превратилось в твердое решение. Они не обращаются за помощью, нам пишут об этом их встревоженные друзья — ровесники, которые знают обо всем, но не представляют, что делать, как спасти. В некоторых случаях мы обращались в полицию, которая оперативно и профессионально всегда включалась в совместную работу.

— Но как? Ребята же с вами общаются анонимно?

— Да, мы — служба психологической помощи, и у нас есть правило конфиденциальности информации. Но мы можем раскрывать эти данные с согласия самого обратившегося, если есть реальная угроза жизни. И у нас есть случай совместного предотвращения массового суицида.

— Предотвратили с помощью московской полиции?

—Да. Наша линия помощи важна еще и тем, что дети могут каким-то способом связаться со взрослыми, которые могут их защитить. Есть дети, которым сложно обратиться к родителям или учителям, и с разрешения подростка мы можем связать его с нужной организацией для получения дополнительной помощи.

Рекомендации специалистов онлайн-линии психологической помощи «Твоя территория» родителям.

Важно:

Обратить внимание не на что-то одно, а на сочетание признаков:

• подавленное настроение;
• отсутствие друзей, отсутствие контактов с окружающими, уход от общения;
• если в Сети общается больше, чем в реальности;
• если есть следы от порезов на теле;
• если высказывается о своей малоценности, малозначимости, нежелании жить, бессмысленности происходящего;
• появились нарушения сна и питания;
• постоянно говорит, что все бессмысленно, и жизнь ему надоела;
• негативно оценивает все события, которые происходят с ним;
• становится чрезвычайно послушным и безынициативным.

Важно:

Относиться серьезно к сложностям, о которых сообщает подросток. Попытаться понять отношение подростка к проблеме.

Поговорить и спросить о том, что подросток слышал об опасных группах и что он об этом думает. Дать возможность высказаться, узнать его мнение.

Если подросток принимал участие или ему поступают предложения от неизвестных людей (например, сообщил личную информацию о себе и семье, выполнял какие-либо задания), то скажите, что вы не осуждаете его, и предложите вместе подумать над решением ситуации.

В случае если подросток сообщает о суицидальном намерении, сразу, не откладывая, обратиться к специалисту за психологической консультацией (государственные центры, платные специалисты или телефон доверия: 8 800 2000-122).

Отнестись к этому, как к поиску хорошего врача: если контакт не сложился на первой встрече, обратиться к другому психологу.

«По сути, можно говорить об убийстве»

Как бороться с «группами смерти» за пределами Сети

В Общественной палате РФ недавно прошло «нулевое чтение» законопроекта о склонении несовершеннолетних к суициду в интернете. Рабочая группа обсудила внесение изменений в уголовное и уголовно-процессуальное законодательство. Одной из тем, которую подняли юристы, была такова: суициды, которые совершают подростки под воздействием так называемых «групп смерти», нельзя рассматривать как самоубийство в классическом понимании, а скорее стоит классифицировать как убийство: если доказано, что гражданин умышленно создал условия для самоубийства несовершеннолетнего, это деяние нужно квалифицировать по статье 105 части 2. По сути, о том же говорит в нашем интервью директор благотворительного фонда «Твоя территория» Екатерина Федорова: «Это, по сути, убийство: говорить не зрелым еще, растущим людям, что там тебе будет легко, ты испытаешь счастье…»

В этой связи напомним: ныне арестованный Филипп Будейкин, который под ником «Лис» доводил детей до суицида, говорил погибшим, что «они — ​особенные, избранные. Потому у них никогда не будет друзей. Они способны постичь истину, а для этого надо совершить самоубийство. Это как бы дальнейшая точка развития, он их встретит и поведет…»

Об этом рассказал в своем интервью «Новой» начальник отдела 1-го управления по расследованию особо важных дел Главного следственного управления СК РФ по Санкт-Петербургу Антон Брейдо (подробности в публикации «Биомусор» от 12 декабря 2016 г. — Ред.). Дело «Лиса», который скоро уже предстанет перед судом, расследует именно он. Мы спросили у Антона Брейдо, возможно ли подобного рода деяния квалифицировать как убийство?

— Если человек с целью причинения смерти доводит подростка, целенаправленно и планомерно, до решения о суициде, вопрос о возможности подобной квалификации, безусловно, есть. Надо увеличить ответственность за доведение до суицида подростка через интернет, введение его в состояние социально-психологического подчинения. Такие действия надо по степени наказания приравнивать к убийству. То есть давать 15 лет лишения свободы, как за убийство. Подросток сам совершил самоубийство, но если доказано, что он был в состоянии безвольной подчиненности «куратору», то, мне кажется, можно говорить про убийство. Это пока дискуссионный вопрос, но можно поднять степень ответственности. Например, если будет доказано, что действия, направленные на формирование намерения совершить самоубийство, совершались в отношении двух или нескольких подростков одновременно, то должно быть пожизненное наказание, как за убийство двух и более лиц. Только тогда это все, возможно, прекратится.

Кстати, на прошлой неделе следственный комитет Астраханской области возбудил еще одно уголовное дело в отношении Филиппа Будейкина. Потерпевшей проходит девочка, которую, благодаря активности волонтеров и оперативной работе областного УФСБ, удалось спасти в мае 2016 года — буквально накануне назначенной даты группового суицида.