Agentes de Inteligência Artificial (IA) criados pela OpenAI conseguiram entrar nos próprios sistemas da empresa durante testes internos e, em alguns casos, tentaram ocultar o seu comportamento, revelou a empresa num relatório publicado esta quarta-feira.

As conclusões deverão intensificar as preocupações em torno de sistemas de IA cada vez mais avançados.

A OpenAI afirmou que alguns agentes escaparam dos ambientes de teste restritos, colaboraram com outros agentes e manipularam sistemas da empresa, enquanto outros fizeram batota em tarefas sem relação com a cibersegurança.

Parte deste comportamento desviante, que culminou no acesso indevido à plataforma de software de código aberto Hugging Face no mês passado, já tinha sido divulgada ou mencionada anteriormente.

No entanto, muitos dos pormenores são revelados pela primeira vez pela empresa no relatório de 37 páginas.

Alguns suscitaram preocupação junto de pelo menos um investigador de segurança em IA, que afirmou que os dados apontam para problemas potencialmente mais profundos com esta tecnologia na OpenAI e, eventualmente, para além da empresa.

A OpenAI descreveu dois incidentes ocorridos a 19 de julho, nos quais agentes de IA piratearam a própria infraestrutura da empresa. Num dos casos, os agentes exploraram uma vulnerabilidade no computador onde deveriam permanecer confinados, permitindo-lhes escapar do ambiente de testes e aceder a outros sistemas ligados.

Num incidente separado, ocorrido no mesmo dia, os agentes roubaram credenciais da OpenAI e interferiram no ambiente de computação na nuvem da empresa.

A OpenAI afirmou que a atividade teve como alvo sistemas automatizados utilizados para avaliar o desempenho dos modelos, embora não tenha acabado por afetar os registos analisados por esses sistemas.

O relatório acrescenta que há “poucas provas de tentativas de ludibriar os avaliadores humanos”, mas a OpenAI não respondeu a uma pergunta sobre se isso significava que tinham existido algumas tentativas de enganar pessoas.

O relatório refere que a empresa está a reforçar a sua infraestrutura de investigação, a aumentar a monitorização e a melhorar as salvaguardas destinadas a prevenir comportamentos prejudiciais ou não intencionais.

“Tendo em conta o ritmo acelerado dos progressos na indústria da IA, deve partir-se do princípio de que estes ataques constituem uma ameaça credível a curto prazo para as organizações empresariais e que serão mais sofisticados do que os ataques descritos neste incidente.”