O OpenAI Exec avisa o risco crescente de IA pode ajudar no desenvolvimento de armas biológicas

Um Openai O executivo responsável pela segurança da inteligência artificial alertou que a próxima geração dos grandes modelos de idiomas da empresa poderia ser usada para facilitar o desenvolvimento de biológicas mortais por indivíduos com relativamente pouco conhecimento científico.

Chefe de Sistemas de Segurança do Openai, Johannes Heidecke fez a reivindicação em um Entrevista com Axiosdizendo que ele antecipa seus próximos modelos desencadeará o que é conhecido como uma “classificação de alto risco” sob a estrutura de preparação da empresa-um sistema que ele criou para avaliar os riscos apresentados pela IA.

Ele disse a Axios que espera “alguns dos sucessores do nosso modelo de raciocínio da O3 para atingir esse nível”.

Openai disse em um Postagem do blog O fato de ter aumentado seus testes de segurança para tentar mitigar o risco que seus modelos podem ser abusados ​​por alguém que procura criar armas biológicas. Ele admite que está preocupado que, a menos que os sistemas adequados para mitigação sejam implementados, seus modelos possam se tornar capazes de “elevação iniciante”, permitindo que pessoas com apenas conhecimento científico limitado para criar armas letais.

Heidecke disse que o Openai não está preocupado que a IA possa ser usada para criar armas que são completamente desconhecidas ou não existissem antes, mas sobre o potencial de replicar algumas das coisas com as quais os cientistas já estão muito familiarizados.

Um dos desafios que a empresa enfrenta é que, embora alguns de seus modelos tenham a capacidade de potencialmente desbloquear novos avanços médicos que salvam vidas, a mesma base de conhecimento também pode ser usada para causar danos. Heidecke disse que a única maneira de mitigar esse risco é criar sistemas de teste mais precisos que possam avaliar completamente novos modelos antes de serem lançados ao público.

“Isso não é algo que 99% ou mesmo um em 100.000 desempenho é suficiente”, disse ele. “Basicamente, precisamos, como, quase perfeição.”

1/ Nossos modelos estão se tornando mais capazes em biologia e esperamos que os próximos modelos atinjam níveis de capacidade ‘altos’, conforme definido por nossa estrutura de preparação. 🧵

– Johannes Heidecke (@joheidecke) 18 de junho de 2025

O rival Antrópico da PBC da Openai também levantou preocupações sobre o perigo de os modelos de IA serem mal utilizados para ajudar no desenvolvimento de armas, alertando que o risco se torna maior quanto mais poderoso eles se tornam. Quando lançou seu modo mais avançado, o Claude Opus 4, no mês passado, introduziu protocolos de segurança muito mais rigorosos que regem seu uso. O modelo foi categorizado como “o nível de segurança da IA ​​3 (ASL-3)” na política interna de escala responsável da empresa, que é modelada no sistema de nível de biossegurança do governo dos EUA.

A designação ASL-3 significa que Claude Opus 4 é poderoso o suficiente para ser potencialmente usado na criação de biológicas ou automatizar a pesquisa e o desenvolvimento de modelos de IA ainda mais sofisticados. Anteriormente, o Antrópico fez manchetes quando um de seus modelos de IA tentava chantagear um engenheiro de software Durante um teste, em um esforço para evitar ser desligado.

Algumas versões iniciais do Claude 4 Opus também foram mostradas para cumprir com solicitações perigosascomo ajudar terroristas a planejar ataques. As reivindicações antrópicas atenuam esses riscos após a restauração de um conjunto de dados que foi omitido anteriormente.

Imagem: Siliconangle/Dreamina