Eles são tão inteligentes assim?

Frente aos avanços tecnológicos do séc XXI, surgiram diversos paradigmas que relacionam a interação humano-computador e seus respectivos impactos nas relações sociais. Grosso modo, já observaram-se produções de obras fictícias das quais o futuro seria comandado por uma Inteligência Artificial. Entretanto, a sociedade não imaginou a magnitude que seria a era digital de fato, hoje já vivenciamos esses novos fenômenos sociais dos quais em, grande medida, temidos ao ler 1984 de George Orwell (1949).

No atual cenário digital fazemos uso diário de um dispositivo que sabe tudo sobre nós – nosso celular – que mapeia e registra nossa localização, horários e preferências. Nesse sentido, temos diversos exemplos e facilidades na utilização dos serviços que os  apps nos oferecem, como, o Spotify que seleciona quais músicas vamos gostar de ouvir, ou o  YouTube e Netflix já tem os conteúdos dos quais provavelmente vamos querer consumir, otimizando nosso tempo, apesar das facilidades, existe um interesse privado nos uso dos dados que os consumidores fornecem (os termos de aceite de uso). 

Nesse ínterim,  a  pauta da Inteligência Artificial (IA) é fundamental e cada vez mais presente nos debates do dia-a-dia, pois ela já permeia as relações do cotidiano. Em razão do contexto de  pandemia (Covid-19), conforme pontuam os autores Neto, Gomes e Porto et.al, (2020), a hegemonia do uso das mídias reforça cada vez mais a propagação de pseudo-informações conhecidas como Fake News, que por mais que já existisse bem antes da era atual, está poluindo a comunicação assertiva nas mídias sociais e deturpando o real sentido da circulação das notícias nos canais digitais. 

Atualmente, o controle dos consumos em geral, são das grandes empresas de tecnologia, há também ascensão de novos mercados e profissões, como citam os autores Batista, Heber, Luft et.al, (2020, p.183): “O surgimento das mídias sociais como Facebook e Instagram, por exemplo, contribuiu para popularizar a profissão dos blogueiros e youtubers como formadores de opinião, para diferentes plataformas”, visto que, a junção das mídias e estes agentes geraram práticas muito lucrativas apoiadas em marketing digital, devido a constante venda de anúncios de produtos nas redes sociais e apps.

Na experiência social existe um cenário de exclusão em geral e predominância do interesse privado, na era digital não seria diferente. Fica explícito a dificuldade de certos grupos de acessar as oportunidades na tecnologia. Por exemplo, o caso do  No Vale do Silício em 2015 onde programadoras se uniram e processaram empresas como Twitter por desigualdade de gênero (Vale do Silício, terra hostil para mulheres | Tecnologia | EL PAÍS Brasil) no exercício das atividades internas dos grupos, apontando questões como: dificuldades em plano de carreira, oportunidades de crescimento e principalmente a falta de reconhecimento e promoções de pessoas do gênero feminino. 

Cabe mencionar também os apontamentos de Darold Cuba em publicação da revista Vice (2015) a respeito do racismo instituído e silencioso que ocorre no Vale. (​A Luta Contra o Racismo Silencioso do Vale do Silício )

As minorias não são apenas excluídas dos cargos técnicos dos setores que mais crescem no país; elas também recebem menos do que seus colegas brancos. De acordo com um recente estudo sobre programadores e desenvolvedores de software conduzida pelo Instituto Americano de Pesquisa Econômica, latinos ganham cerca de US$16.353 menos por ano do que seus colegas brancos; asiáticos ganham US$8.146 menos, e negros, US$3.656. Ao mesmo tempo, um estudo do USA Today revelou que a quantidade de estudantes negros e latinos se formando em ciência da computação em universidades renomadas é duas vezes maior do que a taxa de contratação desses grupos demográficos. CUBA, Darold. Vice: ​A Luta Contra o Racismo Silencioso do Vale do Silício. Circular Digital; jul./2015.

É interessante mencionarmos que, apesar de convivermos com instituições cuja narrativa ainda moldada pelo patriarcado e racismo institucional, as mulheres encontraram nesse novo nicho de mercado meios de mostrarem suas vozes, empreenderem, venderem seus produtos, e serem suas próprias chefes. Entretanto, há diversos paradigmas, pois, muitas empresas conseguem maximizar seus lucros em cima da liberdade dessas mulheres, uma vez que, tornam os algoritmos das redes cada vez mais seletivos, filtrando e vendendo a ideia do que é ser uma mulher: branca, magra, que faz skincare e dieta. Nota-se que as mídias sociais vendem de uma forma readaptada de padrões irreais de beleza (Kardashian, o efeito filtro e as lipos HDs). É difícil encontrar mulheres que fazem dinheiro na internet e não estejam associadas a este padrão de beleza impositivo. Caso não estejam incluídas nesse grupo, essas mulheres vêm de outros nichos excludentes (estereótipos).

Retomando a questão das redes sociais, no caso do Instagram, de acordo com o site TecMundo, o engenheiro de software Ivan Medvedev (Instagram mostra como usa inteligência artificial na aba Explorar) comenta que o feed e a aba “Explorar” é personalizada de acordo com o perfil do usuário. Entretanto, faz com que a distribuição de assuntos e postagens não cheguem até todos os perfis, tornando alguns temas inacessíveis para determinados grupos. Há também o “shadow-banning”, que é um algoritmo que tem como objetivo derrubar ou dificultar o acesso aos conteúdos que infringem a lei das redes. Ele deveria ser capaz de detectar 100% um conteúdo problemático para rede, isto é, discursos de ódio, violência, etc. porém que impactam conteúdos que não fazem parte destes que infringem a lei mas é  prejudicado pelo uso das palavras-chave. 

Uma reflexão adicional é que, o shadow-banning tende a alimentar os vieses do algoritmo, pois vivemos sob a luz dos mesmos, ainda que estes reforcem injustiças sociais. É esperado que as pessoas preferem consumir conteúdos produzidos por uma restrita classe social em detrimento de outra menos favorecida de maneira a influenciar, também, nas decisões de compra (maquiagem, produtos, dietas e etc.) essa prática reforça o racismo. Um exemplo prático disso, é o trabalho desenvolvido pelo Instagram @falandoderacismo que é um perfil, cujo nome já diz, que denuncia os racismos estruturais da sociedade, e postou em outubro de 2020, uma foto de uma mulher branca que gerou 202.120 números de alcance, sendo que a média de alcance dos posts são 47.767, que demonstra a desproporcionalidade do engajamento entre pessoas brancas e pretas. 

A psicanalista Manuela Xavier (@manuelaxavier) trabalha produzindo conteúdos feministas relevantes para o Instagram, ajudando mulheres a identificar situações de abuso de gênero. Contudo, devido ao funcionamento do shadow-ban está sendo prejudicada diariamente. Ela e a escritora Polly Oliveira (@pollyoliveirareal) que denuncia as problemáticas, que a indústria da beleza impõe (cirurgias de lipo, o photoshop, filtros), descobriram uma forma de enganar o algoritmo utilizando “O Experimento” que é uma forma de atingir engajamento no Instagram com palavras-chaves geralmente usadas por correntes contrárias, por exemplo “lipo led, maquiagem, dieta, desinchá, emagrecer, treino em 30 dias” em favor de continuar compartilhando informações sobre body positive, autocuidado e feminismo. 

Conversei com a Manuela sobre shadow-banning. Leia a seguir: 

Manuela Xavier, produtora de conteúdo que está sendo punida pelo shadow-banning

 

Mariane: você acredita que o shadow-ban é controlado por algoritmos que possuem vieses ou é acionado por um número X de denúncias feitas aos posts? Quem você acredita que são esses denunciadores?”

Manuela: o shadow-banning é uma ferramenta de punição da plataforma. O algoritmo é uma inteligência artificial acionada a partir da lógica humana, então o algoritmo reproduz aquilo que pensa a mente humana. Ele é racista, machista e tudo isso, porque ele é acionado e pensado a partir de pessoas. Ele existe por um motivo nobre, para que pessoas que estejam propagando discurso de ódio, conteúdos violentos sejam punidos. O que a gente tem visto nos instagram de mulheres feministas é que essa punição está sendo aplicado deliberadamente sobre essas mulheres de forma a silenciá-las, porque essas mulheres não vão estar no Instagram falando sobre maquiagem, dieta da moda e de Desinchá. Elas vão estar falando sobre temas que vão versar com o violento, vão estar usando termos que são “estupro”, “violência”, “agressão”, “abusivo” e esses termos, se houver uma denúncia, o seu post cai ou sua conta cai porque você tá falando esses termos. E o algoritmo que é burro, lê aquilo como discurso de ódio. Então não importa se você está falando o texto “abaixo a violência”, “somos contra a cultura do estupro”, por isso você tem que maquiar esses termos. 

Mariane: você pode falar um pouco sobre sua visão sobre como os algoritmos funcionam em relação aos conteúdos feitos por mulheres? Seja sobre feminismo, relacionamento abusivo, patriarcado ou sobre maquiagem, comportamento e beleza. Por que falar sobre as facetas do machismo na sociedade incomoda tanto o Instagram na sua visão?

Manuela: o shadow-banning é uma ferramenta importante para preservar a harmonia e saúde da rede de comunidade de pessoas, para punir pessoas que estão propagando discurso de ódio e cometendo violência. Mas o que é manter a saúde da plataforma? Significa servir a lógica de mercado da plataforma, que é vender produtos e anúncios. Se você está falando de machismo, feminismo, patriarcado e estupro, qual o anúncio que vem depois? Nenhum. Você passa a ser um peso morto para o Instagram, então tem contas que entram deliberadamente no shadow-ban porque não interessa pra eles o que essas contas estão falando, que são temas importantes, mas que não tem uma função mercadológica, porque não vende nada depois.  O “Experimento” foi um movimento que a gente fez para mostrar isso, quando a gente começa a falar sobre coisas que vendem como “maquiagem”, “dietas”, “viagens” que atendem a lógica publicitária do Instagram, os conteúdos são entregues. Não importa se eu falo 3 stories de dieta e 5 stories depois de relacionamento abusivo. Então essa lógica do algoritmo segue a dinâmica humana, as pessoas querem ver mais corpos padrão, as pessoas querem saber mais sobre dieta e maquiagem do que sobre feminismo, as pessoas querem porque naturalizam discursos de violência vindo de homens, não chega denúncia ali. E nesses perfis de mulheres que estão fazendo o trabalho de denunciar isso não é interessante porque não vende. 

Para encerrar sem concluir…

O CEO do Instagram Adam Mosseri se manifestou na sua conta pessoal do Twitter sobre as denúncias do tratamento dos algoritmos feitos com a minoria, mais precisamente após os disparos de posts apoiando o movimento do #BlackLivesMatter em junho de 2020. (Instagram vai revisar algoritmo para garantir tratamento igualitário a minorias)

Esses esforços não param com as disparidades que as pessoas podem experimentar apenas com base na raça; também veremos como podemos servir melhor a outros grupos sub-representados que usam nosso produto. Só no ano passado, o feedback que recebemos de comunidades como grupos LGBTQ +, ativistas da positividade corporal e artistas nos ajudou a construir um produto mais inclusivo.

Nem mesmo os próprios engenheiros e cientistas das empresas saberiam onde estão as falhas nos algoritmos?

Em relação aos interesses privados após diversos processos jurídicos e afins, surgiu uma necessidade das empresas em evoluírem seus algoritmos e manter uma imagem de disrupção. Vale ressaltar que são empresas bilionárias que movimentam muitos usuários e que promovem seus interesses, por meio destes, mantendo-os em posição de liderança do mercado de tecnologia. 

Convivendo na era digital, têm-se muitas camadas de dados e informações circulando pelos feeds. Da perspectiva dos engenheiros e cientistas, é notável que há um volume enorme de atualizações de forma frenética, que torna a tecnologia complexa em diversos níveis. Em 2020, o Facebook postou em seu blog atualizações da pesquisa sobre os “Avanços da Machine Learning para detectar discursos de ódio” (AI advances to better detect hate speech), levantando as dificuldades em detectar os conteúdos postados, como por exemplo: imagem, vídeo e texto são formas diferentes da máquina analisar cada conteúdo. No caso dos memes, a dificuldade é maior ainda, pois trata-se de um conteúdo de texto com imagem, em que a imagem pode ser negativa com o texto positivo e vice-versa, levando ao algoritmo dificuldades em compreender a referência. Diante desses entraves, o Facebook lançou um desafio em seu blog (Hateful Memes Challenge and dataset for research on harmful multimodal content) com prêmios para quem conseguisse desenvolver um algoritmo que compreendesse os discursos de ódio em memes. 

As tecnologias da era atual lida com a existência de dificuldades em acompanhar a evolução da inteligência dos algoritmos devido a escalabilidade desses dados, sobretudo, enfrenta-se também, a disseminação de um ponto de vista promovido pela ausência de diversidade na composição do quadro de funcionários que desenvolvem e programam os mesmos dentro das grandes empresas, dificultando o acesso e a representatividade nos espaços digitais. Fica evidente que os mesmos dilemas sociais que existiam antes da era moderna refletem a era digital. Assim, os algoritmos reproduzem as relações sociais pois são programados por humanos, que ainda vivem às sombras e são agentes das desigualdades. Então, é um problema tanto tecnológico quanto cultural ultrapassar esses modelos que atuam em linhas contrárias ao desenvolvimento de uma sociedade mais justa.