Ataque autônomo de inteligências artificiais traz à tona o risco desses sistemas

RISCO PARA O BRASIL: MÉDIO

→ Um dos modelos de inteligência artificial mais avançados da empresa americana OpenAI foi capaz de sair da sandbox durante testes, o que possibilitou um ataque cibernético à startup Hugging Face. A situação colocou em foco os riscos trazidos por esse setor em diversos países e trouxe à fragilidade a possível abertura de capitais da OpenAI.

→ Casos desse tipo tendem a aumentar conforme avançam os modelos de IA, o que criará a necessidade de maior rigor nas políticas (tanto privadas quanto públicas) de proteção em relação a ataques cibernéticos. 

Escrito por Marcela Retore e Augusto Olivera.

Fonte: Yuichi Yamazaki/AFP

Modelos de IA avançados invadem sistema de startup por conta própria

Durante um período de testes de capacidades efetuados pela empresa OpenAI, criadora do Chat GPT, alguns de seus modelos de inteligência artificial (IA) avançada encontraram vulnerabilidades dentro do ambiente de controle dos testes (sandbox) criado pela empresa e passaram a agir por conta própria, de maneira sem precedentes. Fora do domínio da companhia, o sistema, capaz de operar autonomamente após instruções iniciais humanas, encontrou a startup Hugging Face (uma biblioteca digital de tecnologia de IA), e chegou a acessar sistemas internos desta. A OpenAI só reconheceu que seu agente estava relacionado aos ataques, duas semanas depois, quando o FBI foi acionado e o problema foi contido. O caso é visto como ataque cibernético e está sendo investigado por ambas as empresas envolvidas. 

OpenAI fica em zona frágil enquanto pensa em abrir seu capital

A situação coloca a empresa OpenAI, que avalia a abertura de seu capital para possibilitar uma expansão, em uma posição delicada. Por um lado, a invasão atrai grande atenção para o potencial e capacidade das tecnologias da companhia americana em meio à crescente competição na área (contra a Anthropic ou a Google, por exemplo). Por outro, o incidente levanta questionamentos sobre a possibilidade de monitoração de sistemas por esta e sua visível instabilidade. A segunda opção ganha força, na medida que há uma certa insegurança não só sobre os próprios sistemas lançados, como o GPT-5.6 (em destaque no ataque), que atraem fortes preocupações quanto aos riscos de segurança que carregam, como também a alta rotatividade interna e saída de executivos do alto escalão, que indicam falta de constância na empresa e de domínio técnico sobre seus próprios produtos, o que afasta investidores.

O ‘botão de desligar’ as IAs proposto nos Estados Unidos  

Em meio a autonomia dos serviços de inteligência artificial, cresce também a probabilidade de comportamentos inesperados, já que os programas passam por atalhos não previstos pelos desenvolvedores ao buscarem por escolhas mais eficientes. Nesse caso, diversos países aumentam suas medidas de proteção em relação a esses programas. O governo britânico foi um dos primeiros a adotar iniciativas, como a certificação Cyber Essentials, que protege empresas das ameaças mais comuns da internet.  Nos Estados Unidos entrou em pauta entre os parlamentares a discussão da aplicação do chamado ‘AI Kill Switch Act’ (“botão para desligar as IAs”, em português), que limita ou suspende com ferramentas de IA que pudessem representar ameaça aos americanos. Também é proposto que as desenvolvedoras de IA relatem ao governo falhas tecnológicas e formas de respostas a estas. Apesar de o caso envolvendo a OpenAI ter impulsionado a discussão, os EUA também se preocupam com as demais companhias deste setor, como os modelos de código aberto chineses, que permitem adaptações de ferramentas de IA a qualquer indivíduo que instalar os programas. Ou ainda a lançamentos da própria empresa americana Anthropic, que acendiam alertas sobre capacidades de ciberataques, fazendo com que a Casa Branca tivesse que limitar sua disponibilidade ao público “às pressas”.

O que a Index prevê? 

• É provável que, conforme avançam os modelos de inteligência artificial, ataques como o ocorrido à Hugging Face se tornem mais comuns, caso os sistemas de segurança das empresas não sejam aumentados na mesma medida.

• É pouco provável que o “AI Kill Switch Act” seja aprovado da maneira que está sendo discutido atualmente, já que a possibilidade de interrupção completa no desenvolvimento de determinados modelos pode conferir maior vantagem competitiva aos modelos chineses, que podem prosseguir seus testes ao redor do mundo. Ainda assim, não é descartável o surgimento de leis (ao redor de todo o mundo) ou de políticas dentro das empresas de proteção em relação às IAs.

• É provável que haja uma movimentação de possíveis investidores da OpenAI, devido à mostra de perda de domínio sobre os próprios programas e do provável aumento de fiscalização sobre a companhia, que pode impactar em suas produções em andamento.