As Redes Sociais e sua responsabilidade na violência extrema

*Por Humberto Ribeiro

Se você tem o mínimo de contato com redes sociais atualmente você deve conhecer episódios de racismo, lgbtfobia, machismo e diversas outras demonstrações de intolerância nesses espaços. Nos meses de março e abril de 2023, o Brasil foi sacudido por uma onda aterrorizante de ataques a escolas orquestrados por uma subcomunidade preocupante que promove e idolatra autores de massacres escolares, supremacistas brancos e atiradores em série.

Naquele momento, em resposta às preocupações levantadas pelo Ministério da Justiça e Segurança Pública, o X/Twitter, após muita pressão, foi levado a adotar medidas drásticas banindo uma série de contas ligadas a essa subcomunidade na época, desmantelando grande parte do grupo. De qualquer forma, é evidente que essa ação do X/Twitter não seria suficiente quando sabemos que outros canais de alcance inimaginável como TikTok, por exemplo, são também palco dessas subcomunidades.

A plataforma, usada por crianças brasileiras com menos de 10 anos (49% das crianças com menos de 10 anos afirmam que o Tik Tok é a plataforma que mais usam), vem sendo palco de disseminação de conteúdos violentos, desencadeando um “apoio”, por meio do algoritmo, às pessoas que praticam e expõem a violência.

Esse foi o caso do ataque em Sapopemba, na Zona Leste de São Paulo, praticado por um adolescente “TikToker” que constantemente publicava nas redes sociais vídeos de briga em que se envolvia na capital paulista, no bairro da Liberdade – popularmente conhecido por ser palco dos jovens durante a noite com festas e “rolezinhos”. O caso teve uma grande repercussão, com apologia ao crime cometido pelo jovem e até mesmo a vitimização do jovem, usando o bullying como justificativa e o tornando herói. Esse conteúdo foi entregue pelo algoritmo.

Mais uma vez, a sociedade, comunidade acadêmica, especialistas em educação, governantes… estavam todos chocados com mais um ato de extrema violência cometido em um ambiente escolar. Mas é impossível negar o papel que a negligência de canais de redes sociais exercem nesses episódios. O Sleeping Giants Brasil trabalha pra colocar em evidência esse problema alarmante: a proliferação de conteúdos radicais e extremistas que são facilmente acessíveis a jovens dentro do TikTok, rede social mais usada por crianças e adolescentes no Brasil e com mais de 82 milhões de usuários.

A campanha lançada ainda no final de outubro, “TikTok Apoia Massacre”, ressaltou a urgência de mudanças significativas na abordagem da rede social em relação ao problema, e recolheu cerca de 2025 assinaturas e envios de e-mail para a equipe do TikTok Brasil. Após duas semanas de campanha, o TikTok retirou esses conteúdos da plataforma. Os conteúdos são os “edits” – vídeos que exibem imagens dos massacres com homenagens aos perpetradores – essa subcomunidade continuou a prosperar, interagindo e expandindo suas atividades. Impulsionados por uma atração pela violência, um profundo sentimento de revolta contra a sociedade e influenciados por discursos de ódio, os jovens pertencentes a essa subcomunidade não apenas se apoiam mutuamente, mas também recrutam e incentivam novos ataques a escolas.

De qualquer forma, há muito ainda para se combater nesse sentido, pois é notório um crescimento alarmante de conteúdos extremos em redes sociais. Vídeos que contêm apitos de cachorro e promovem discursos de ódio continuam a se multiplicar, protegidos pela invisibilidade aos olhos dos usuários comuns. A falta de visibilidade desses conteúdos impede que sejam denunciados, permitindo que permaneçam disponíveis e alcancem um público cada vez maior.

Em um cenário em que a tecnologia está constantemente avançando, é necessário esperar que plataformas como o TikTok invistam em algoritmos sofisticados capazes de analisar o conteúdo visual dos vídeos. Isso possibilita a identificação e remoção automática de imagens associadas a discursos de ódio, bem como o banimento das contas responsáveis por disseminá-las. O uso do shadowban (prática de bloquear ou bloquear parcialmente um usuário, ou conteúdo), uma técnica que limita a visibilidade de conteúdos e contas específicas, tem se mostrado insuficiente para conter a propagação desses conteúdos prejudiciais.

É preocupante observar que, enquanto o shadowban falha em conter o avanço dessas subcomunidades, o algoritmo da aba “Para Você” continua a servir como um veículo para ampliar seu alcance. Em vez de desacelerar o crescimento desses grupos, a funcionalidade “Para Você” paradoxalmente contribui para sua expansão, permitindo que seus conteúdos cheguem a um público ainda maior.

Nesse contexto, a expectativa é que plataformas de mídia social como o TikTok intensifiquem seus esforços no desenvolvimento e implementação de algoritmos mais robustos e eficazes. Essas ferramentas tecnológicas avançadas não apenas podem identificar automaticamente conteúdos prejudiciais, mas também desempenham um papel crucial no banimento de contas que perpetuam discursos de ódio. Ao adotar abordagens mais proativas e eficientes, as plataformas online podem trabalhar para criar um ambiente mais seguro e positivo para todos os seus usuários.

Combater a exposição de violência nas redes sociais é o proposito do PL 2630 (Lei Brasileira de Liberdade, Responsabilidade e Transparência na Internet). O projeto, além de trazer responsabilidade e transparência à internet no Brasil, também apresenta mecanismos que podem ajudar a calibrar essa situação e amenizá-la. O projeto prevê o dever de cuidado e define os meios necessários para evitar que determinados conteúdos cheguem a crianças e adolescentes, além dos conteúdos que promovam ideologias extremistas.

Com o PL 2630, as plataformas precisarão trabalhar “diligentemente” para prevenir ilegalidades e se esforçar para “aprimorar o combate à disseminação de conteúdos ilegais de usuários”.

Fique sempre de olho em conteúdos extremistas e denuncie! Selecionamos alguns exemplos:

Referências neonazistas: contas neonazistas usam uma grande variedade de referências ao nazismo em seus nicknames, fotos de perfil, em suas biografias e nos vídeos e imagens postados.
Estética aceleracionista: Totenkopf é o nome dado ao símbolo da caveira com ossos cruzados. Em alemão, significa “cabeça da morte”. Foi um dos símbolos das Waffen Schutzstaffel (SS) de Hitler. É ainda hoje usado por neonazistas em todo o mundo, como a Atomwaffen Division e a Misanthropic Division. A expressão “never lose your smile” em conjunto com a imagem do Totenkopf, faz referência ao sorriso da caveira e é usada como apito de cachorro para neonazistas.
Simbologia pagã germânica/nórdica: O Sonnenrad (Sol Negro) é uma espécie de roda solar formada por 12 runas Sig – os raios símbolos das SS – dispostas em forma de círculo. Apesar dos neonazistas alegarem que o símbolo seria parte da simbologia ancestral germânica, sua primeira representação conhecida é um mosaico que está no castelo de Wewelsburg, na Alemanha. O castelo era um tipo de quartel-general das SS.
Antissemitismo: A expressão “well well well” tem sido usada frequentemente em comentários, hashtags e nomes de vídeos referenciando judeus e em comentários de vídeos de pessoas judias. A expressão parece ser usada em tom de ironia, algo como “ora, ora, ora, veja o que temos aqui”.
Integralismo (política de extrema direita baseado no cristianismo católico, de caráter fascista e nacionalista, anticomunista, antidemocrática, antiliberal e antissemita): Uma infinidade de hashtags integralistas prolifera e acumula milhões de visualizações. São frequentes as referências ao falecido político brasileiro Enéas Carneiro e seu partido, o PRONA. São também frequentes as postagens homofóbicas e antissemitas usando hashtags integralistas.
Separatismo: O movimento “O Sul é o Meu País” surgiu com o objetivo de separar os 3 estados da região sul do resto do Brasil. Há outros movimentos separatistas que pretendem separar o estado de São Paulo do resto do país, como o “Movimento São Paulo Livre” e o “Movimento São Paulo Independente”.
Denúncia: Denunciada pela GNET (Global Network on Extremism and Technology) em junho de 2023, a trend “caça aos gnomos” do Tiktok é uma referência velada à “caça aos judeus”. Nos posts da hashtag, além de contas neonazistas fazendo postagens sobre gnomos encontra-se também postagens abertamente neonazistas, expondo símbolos e discurso de ódio antissemita.