Ex Machina, filme de ficção científica e drama escrito e dirigido por Alex Garland, venceu o Oscar de Melhores Efeitos Visuais e foi indicado ao Oscar de Melhor Roteiro Original em 2016. Foi um filme que muito me marcou por materializar uma história sobre potenciais mas, sobretudo, riscos do desenvolvimento da Inteligência Artificial em um cenário de total desregulação e falta latente de educação crítica sobre as tecnologias.

No enredo do filme, Caleb Smith, um programador, é escolhido para avaliar Ava, uma avançada inteligência artificial criada por Nathan Bateman, o CEO recluso de uma grande empresa de tecnologia. Durante os testes, Caleb percebe que Ava demonstra emoções humanas e suspeita que Nathan a maltrata. Ava manipula Caleb, revelando planos de fuga e acusando Nathan de ser perigoso.

Caleb descobre que Kyoko, a governanta da casa do CEO, onde está recluso com Ava, também é um robô e ajuda Ava a escapar. Ao final do filme (pule para o próximo intertítulo se não quiser spoilers!), Nathan revela que tudo foi um experimento para testar se Ava poderia manipular Caleb. Durante a fuga, Ava e Kyoko matam Nathan sem remorso. Ava, após reconstruir seu corpo com partes de outros robôs, abandona Caleb trancado e escapa, integrando-se à sociedade humana. O filme explora temas como consciência artificial, manipulação e a natureza da humanidade, diversa daquela de robôs humanoides.

O que esse filme tem a ver com a tecnologia e, sobretudo a IA, na educação, afinal? Tudo. Há consenso entre entidades defensoras dos direitos humanos de que a inteligência artificial (IA) não deve ser apenas debatida a partir de usos específicos mas, em seu aspecto amplo, em como afeta a vida de todas as pessoas em diversas esferas e como ela deve ser regulada para servir a um projeto de mundo e à humanidade e ao desenvolvimento socioambiental sustentável e não ao contrário, ser mais um instrumento de fazer pessoas reféns da máquina e a natureza usurpada para servir à tecnologia. 

Esse alinhamento entre a sociedade civil de defesa de direitos humanos é observado, por exemplo, entre o que é defendido pela Campanha Nacional pelo Direito à Educação e a Cátedra UNESCO em Educação Aberta e Tecnologias para o Bem Comum (UnB), que enviaram contribuições para audiência pública ocorrida em 08/04 último e estudos a serem realizados pelo Conselho Nacional de Educação (CNE), e entidades como a Coalizão Direitos na Rede (CDR), Associação Brasileira de ONGs (Abong), Ação Educativa (AE) e Instituto Brasileiro de Análises Sociais e Econômicas (Ibase), que incidem no Congresso Nacional sobre o PL 2338/23, que prevê a regulação de IA no país.

Em que se pesem suas particularidades, há convergências quando observamos pontos inegociáveis das duas agendas, como: a criação e implementação de um sistema de regulação e governança local; o estabelecimento de mecanismos de transparência e responsabilização de quem regula e é regulado, com base em princípios de participação social e gestão democrática; e a instituição de um arcabouço legal e institucional que garanta os direitos humanos, notadamente os direitos digitais e o direito à educação.

Vamos, portanto, navegar sobre o debate que está sendo travado no Congresso Nacional, em perspectiva de regulação ampla da IA, e aquele que está se iniciando no Conselho Nacional de Educação, em sua aplicação na área.

PL 2.338/23: apoio e defesa de melhorias

O conceito de inteligência artificial previsto na União Europeia e na OCDE é muito usado em muitas políticas públicas. O chamado “AI Act”, em sua versão final, de 2024, diz: “Um sistema de Inteligência Artificial é um sistema baseado em máquinas que, para um conjunto explícito ou implícito de objetivos humanos, infere, a partir da entrada que recebe, como gerar saídas tais como previsões, conteúdos, recomendações ou decisões que influenciam ambientes físicos ou virtuais.”

Embora precise ser detalhado conforme especificidades do nosso país, ele é útil para destacarmos os “objetivos humanos” da IA, isto é, os comandos que a tecnologia recebe (e de quem recebe), a partir de uma base de dados existente, e da quantidade e qualidade de informações que gera. Isso significa que essa é uma temática baseada em, como diz o pesquisador Tarcízio Silva, dados de pessoas e coletividades com impactos possíveis, uns maiores e outros menores.

Todavia o que está posto é que a regulação da IA é primordial frente à ascensão de um setor privado ávido pela coleta, uso e venda de dados de toda ordem, especialmente os pessoais. É preciso, portanto, que o foco seja calcado em uma governança ética e garantidora de direitos para a aplicação de um sistema de IA.

A boa notícia é que há características positivas no PL de Substitutivo 2.338/2023, que tramita no Congresso Nacional – já tendo sido aprovado no Senado e agora em debate na Comissão Especial de IA da Câmara. O PL é mais robusto do que peças legislativas anteriores que tratam do tema, como o PL 21/2020.

No PL 2.338/2023, há como pontos positivos:

• rol de direitos
• abordagem baseada no risco e em direitos;
• previsão de amplo rol de medidas de governança, inclusive avaliações de impacto;
• regulação assimétrica (cada nível de risco prevê graus diferentes de obrigações);
• obrigações de governança;
• sistema de governança e regulação;
• texto final aprovado no Senado Federal, que contou com mais de 10 audiências públicas e dezenas de especialistas de diferentes setores ouvidos, além de contribuições escritas; e
• texto original fruto de uma comissão de juristas (CJSUBIA), que contou com um seminário internacional, audiências públicas e recolheu dezenas de contribuições públicas.

Especificamente, sobre a regulação assimétrica: ela é essencial para a aplicação adequada da IA Generativa (IAGen) – tecnologia usada por serviços como ChatGPT que gera conteúdos, com limitações, a partir de comandos em linguagem natural –, pois engloba vários níveis de risco.

Alguns de pontos de melhoria ainda a serem incorporados no PL 2.338/2023 são:

• Retomada dos direitos de determinação e participação humana;
• Direito de contestação e revisão como aplicável a todo sistema de IA;
• Obrigatoriedade de avaliação preliminar para todos os sistemas algorítmicos;
• Banimento ou, pelo menos, moratória para sistemas de identificação biométrica à distância, em tempo real e em espaços acessíveis ao público;
• Garantia de participação social nas avaliações de impacto e no SIA [sistema de IA] e de consulta pública prévia a normas infralegais; e
• Aumento das garantias trabalhistas.

Boa parte dessas informações foram sistematizadas a partir de produção de conhecimento socializada com organizações da sociedade civil pelas pesquisadoras/es do Projeto “Nanet: Democratizando a tecnologia”, da Abong, Ação Educativa e (Instituto Brasileiro de Análises Sociais e Econômicas) Ibase. São elas/ele: Paula Guedes (CDR/Artigo 19), Fernanda Rodrigues (IRIS), Tarcízio Silva (AE e Ibase) e Juliane Cintra (Abong e AE), a quem agradecemos pelo compartilhamento e pela incidência firme nessa agenda.

Debates no CNE: em defesa de um marco regulatório para uso ético da IA na educação

No campo da educação, a Campanha Nacional pelo Direito à Educação e a Cátedra UNESCO em Educação Aberta e Tecnologias para o Bem Comum (UnB) também defendem que, ante o processo de integração da educação com a IAGen, o Brasil deve adotar um marco regulatório e uma governança local que equilibre inovação e proteção de direitos, com participação democrática e compromisso com o bem comum. Esse foi o teor das contribuições enviadas pelas entidades ao CNE para a elaboração de estudos sobre a governança da inteligência artificial na educação.

As entidades recomendam que o CNE elabore diretrizes claras para a seleção, criação e o uso ético dessas tecnologias, envolvendo todos os atores relevantes – governo, desenvolvedores, educadores, estudantes e sociedade civil. “A soberania digital e a justiça social e educacional devem ser pilares fundamentais, garantindo que o avanço tecnológico sirva à emancipação educacional e não à reprodução de desigualdades”, diz o documento que submetemos.

Os principais pontos defendidos pelas organizações são:

• Regulação, governança e políticas públicas
  É fundamental estabelecer estruturas regulatórias e estratégias de governança participativa em múltiplos níveis, desde acordos internacionais até normas específicas para o setor educacional. 
• Transparência
  A transparência deve ser um princípio central, exigindo que desenvolvedores divulguem metodologias, fontes de dados e critérios algorítmicos para permitir auditorias independentes, seguindo princípios técnicos e orientações regulatórias internacionais. 
• Proteção de dados
  A proteção de dados de estudantes e professores também precisa ser assegurada, com mecanismos claros de consentimento informado e alinhamento à legislação vigente, como a Lei Geral de Proteção de Dados (LGPD).
• Educação e capacitação
  Para que a IAGen seja utilizada de forma crítica e produtiva, é essencial investir na formação de educadores, capacitando-os a identificar vieses e limitações dessas ferramentas. 
• Letramento digital
  Da mesma forma, os estudantes devem desenvolver habilidades de letramento digital que lhes permitam interagir com a IA de maneira reflexiva e autônoma, sem substituir seu próprio raciocínio, e desenvolvam criticidade sobre os contextos sociais, econômicos e políticos da IA num contexto global. 
• Tecnologias abertas
  A promoção de tecnologias abertas, livres e auditáveis, desenvolvidas com participação das comunidades educacionais, é um caminho promissor e que deve ser incentivado, inclusive com financiamento público.
• Inovação responsável
  A promoção de modelos de IAGen de menor escopo e aplicação específica, desenvolvidos localmente, com atenção a contextos culturais e linguísticos específicos, pode ajudar a evitar o colonialismo digital. Paralelamente, é preciso apoiar pesquisas independentes que avaliem os impactos de longo prazo dessas tecnologias, com participação ativa da sociedade civil e de instituições acadêmicas.
• Direitos Humanos e equidade
  Qualquer aplicação da IAGen na educação deve priorizar a redução de desigualdades e a inclusão, garantindo que as tecnologias não aprofundem exclusões existentes. Além disso, é crucial preservar a centralidade da agência humana nos processos educativos, assegurando que a IA seja selecionada e utilizada criticamente como uma ferramenta de apoio, e não um substituto para a interação entre professores e estudantes.

Também apontamos os seguintes desafios:

• Desafios éticos e sociais
  Um dos principais riscos associados à IAGen é a violação de direitos autorais, uma vez que esses sistemas podem fazer uso (em seu treinamento) bem como reproduzir, total ou parcialmente, conteúdos protegidos sem o devido consentimento. Além disso, a natureza de “caixa preta” de muitos modelos dificulta a compreensão de como as respostas são geradas, aumentando preocupações sobre vieses embutidos nos algoritmos e a disseminação de desinformação, como fake news e deepfakes.
  Outro problema grave é o agravamento das desigualdades digitais, especialmente no Sul Global, onde o acesso a infraestrutura tecnológica e dados de qualidade é limitado, reforçando dinâmicas de marginalização. A IAGen também traz impactos ambientais significativos, devido ao alto consumo energético exigido por seus data centers e à poluição digital gerada pelo excesso de conteúdo automatizado.

• Governança e regulação
  Até julho de 2023, apenas um país havia implementado regulações específicas para a IAGen, evidenciando a dificuldade dos legisladores em acompanhar o ritmo acelerado de desenvolvimento dessas tecnologias. Outro desafio é a concentração do poder tecnológico em grandes empresas privadas estrangeiras, com pouca participação democrática na governança dessas ferramentas.
  Essas empresas oferecem seus serviços de forma gratuita através de chatbots em páginas web, ou integrados a outros serviços “gratuitos” que em troca de seu uso monetizam as interações de usuários através da coleta de dados de uso, perfilização, históricos de conversa, dentre outros sem sequer atenção à Lei Geral de Proteção de Dados (LGPD).
  A soberania dos dados também é uma questão crítica, pois muitos sistemas de IAGen operam com informações coletadas em território nacional sem garantias de que esses dados serão coletados e processados de forma ética e em conformidade com as leis locais. Instituições e organizações públicas, como escolas e universidades, também carecem de estratégias de letramento e governança sobre IAGen, aumentando ainda mais o potencial impacto negativo dessas ferramentas no contexto educacional para um público vulnerável.
• Princípios de Abidjan
  Os Princípios de Abidjan sobre o Direito à Educação, adotados em 2019, estabelecem um marco jurídico e político para garantir que os Estados cumpram suas obrigações de assegurar educação pública, gratuita e de qualidade para todos, limitando a privatização excessiva e a mercantilização da educação. Esses princípios têm sido amplamente referenciados em fóruns internacionais, como a UNESCO, a ONU, espaços regionais como o Conselho Europeu e a União Africana, e a sociedade civil global, como diretrizes para combater desigualdades educacionais e proteger o caráter público da educação.
  No contexto da IAGen, os Princípios de Abidjan ganham relevância ao questionar o papel de provedores privados na oferta de ferramentas educacionais. Empresas de tecnologia que desenvolvem modelos como ChatGPT, EdGPT e MathGPT operam em um cenário de pouca transparência e regulação, podendo reproduzir vieses comerciais, reforçar assimetrias de acesso e comprometer a soberania educacional dos países. O Princípio 45, por exemplo, alerta para os riscos da privatização quando esta leva à discriminação ou à precarização dda educação—um desafio que se aplica diretamente à IAGen, dado sua concentração em poucas corporações globais.
  Além disso, os Princípios de Abidjan destacam a necessidade de supervisão estatal e participação democrática na regulação de atores privados (Princípios 56 e 59), o que se alinha com as demandas por governança pública da IA. A crescente influência desses princípios reforça a urgência de adotar regulamentações que vinculem o uso da IAGen na educação aos compromissos com equidade e direitos humanos. A soberania e o controle público sobre dados educacionais—temas centrais nos Princípios de Abidjan—devem orientar políticas que evitem a dependência de soluções privadas fechadas, promovendo tecnologias abertas e auditáveis, desenvolvidas com participação das comunidades educacionais.

O princípio é de que a tecnologia e, inclusa a IA, não é simplesmente uma ferramenta que tem um uso. A tecnologia e a IA estão em nosso meio, em toda parte, mediando nossas interrelações humanas, com o meio e a sociedade. Assim, não se trata de como as usamos, simplesmente, se trata de como criamos e mantemos a autonomia nessa relação com a tecnologia e a IA. A educação crítica é central para desenvolver essa perspectiva na sociedade e é preciso agir enquanto é tempo: enquanto Caleb não é dominado por Ava e enquanto Nathan não acha que pode, sozinho, controlar e lucrar com sua criação, sem nenhuma regulação ou responsabilidade.