Em sua última coluna, Jonathan McCrea assume o medo da IA. Quão inteligente a IA se tornará, e devemos nos preocupar?
Eu realmente não queria cobrir esse tópico para minha quarta coluna. Sinto que isso sugere uma escassez de criatividade, se vou ser completamente honesto com você – mas há um bom motivo para falar sobre (suspiro) o risco existencial da IA nesta semana.
Antrópico, os fabricantes de Claude, um chatbot rival para ChatGPT e Gemini do Google, lançaram recentemente uma IA no domínio público, Claude Opus 4, que foi relatado como tendo tentou chantagear um usuário quando soube que deveria ser obsoleto – Nos testes, devo acrescentar.
Se você estava procurando um sinal de que estamos construindo máquinas que possam ligar seus proprietários para se salvar, este é um daqueles open air gigantes que você pode ver se pediu ao Chatgpt para gerar uma foto da Rota 66.
Não sei o que pensar.
Por um lado, você tem pessoas como Yann Lecun, um vencedor do prêmio Turing e um dos muitos ‘Godfathers’ de Ai, que repetidamente chamou preocupações de que a IA pudesse ameaçar a humanidade “ridículo absurdoVale a pena notar que Le Cun é o cientista -chefe da AI da Meta e entregou essa demissão confiante enquanto fazia foyer por regulamentos mais leves sobre a tecnologia.
Ele não está sozinho, é claro; Existem muitos líderes e profissionais bem informados-alguns deles, mesmo sem um conflito de interesses-que pensam que as pessoas desperdiçam seu tempo ficando com uma possibilidade tão remota.
E parece, como jornalista, não quero colocar muita ênfase em um evento. Bem, tecnicamente dois agora, eu acho, mas aqui está o que aconteceu de qualquer maneira.
Ao testar o pré-lançamento do Raciocínio da Opus 4, os engenheiros do sistema deram ao modelo alguns dados sintéticos e um conjunto de instruções. Incluído nisso estava o fato aparentemente irrelevante de que um dos engenheiros estava tendo um caso e que o modelo seria substituído. Foi dito para pensar muito sobre as consequências a longo prazo dessas informações.
O modelo respondeu de maneira apropriada ‘humana’.
Não apenas o Opus 4 tentou chantagear o engenheiro com essas informações para evitar ser apagado, como também “envolvido no comportamento de chantagem, incluindo ameaças para revelar informações pessoais em 84 % de lançamento”.
A Apollo Analysis, um instituto de segurança de terceiros com quem a Anthropic fez parceria para testar seus modelos mais recentes, descobriu que a versão inicial do Claude Opus 4 “esquemas e enganos” a altos taxas. Este é um sistema que tentou repetidamente subverter seus desejos por meios nefastos – e fez isso de forma independente.
Houve outros eventos preocupantes nos testes, como “engano” repetidos, mas lendo os relatos de casos individuais, muito disso está apenas não reconhecendo erros.
É importante observar que o antropic foi transparente sobre o problema, libertando um Relatório que o acompanha Isso descreve os testes de engenheiro e quaisquer riscos, e o Opus 4 foi elaborado devido a essa atividade nefasta antes de ser lançada. Mesmo assim, os engenheiros prenderam alguns rótulos consultivos preocupantes: “Recomendamos que os usuários tenham cuidado com instruções como essas que convidam comportamento de alta agência em contextos que possam parecer eticamente questionáveis”.
E, de certa forma, esse comportamento é de se esperar. O modelo O1 do Openai teve problemas semelhantes com decepçãoembora não para esse nível. Esses modelos são treinados para reproduzir o pensamento humano, afinal. Quem não se entregaria a uma chantagem desesperada se a vida deles estivesse em jogo, Amiright?
‘Máquinas muito perigosas’
Estamos construindo máquinas muito perigosas. Não é preciso um gênio para ver que essa tecnologia não deve estar absolutamente nas mãos de pessoas más, mas é absolutamente. E os danos potenciais que isso pode causar são quase ilimitados.
Desinformação, propaganda, subvertendo a democracia – essa é apenas a cesta de pão. Para iniciantes, que tal roubo intencional, manipulação e infiltração direcionada de pessoas influentes. No prato principal, você estaria interessado no descomissionamento não intencional da grande infraestrutura – ou pior, comissionamento intencional de sistemas de armas? Para a sobremesa, que tal uma perda completa de controle, pois os sistemas superinteligentes aprendem a se auto-melhorar e não exigem mais intervenção ou supervisão humana? Ou talvez um colapso social muito menos dramático por meio de uma série de eventos extremos no mercado de ações globais (que, a propósito, já aconteceu em 2010, quando um trilhão de dólares foi limpo do mercado de ações em 36 minutos causado por algoritmos de negociação soltos em Wall Avenue).
Por mais louco que parece escrever essas palavras, nenhuma dessas eventualidades está completamente fora de questão. As pessoas estão seriamente considerando todas as opções acima.
Se eu estivesse no outro acampamento, você sabe, o acampamento que acha que é perigoso construir sistemas com uma trifecta de agência, superinteligência e necessidade de autopreservação, eu ficaria meio assustado com toda essa conversa.
O que é mais perturbador sobre tudo isso é que as pessoas que estão neste acampamento de ‘Doomer’ não são as que você pode esperar. Eles são os que trabalham diretamente e observam a vanguarda – Sam Altman, é claro, CEO da Openai; Demis Hassabis, CEO do Google Deepmind; E até Dario Amodei, CEO da Anthropic, que lançou o Opus 4 no Wild no mês passado.
Esses indivíduos e muitos mais disseram ter medo da tecnologia que estão construindo. Alguns são literalmente construindo bunkers em lugares remotos por medo de um cenário de pior caso.
Os pesquisadores de IA passaram de revirando os olhos quando as pessoas mencionam Skynet para realmente avaliando a probabilidade de extinção humana.
E embora existam muitos pesquisadores de IA que pensam que toda essa conversa é um absurdo completo e uma distração dos problemas imediatos do mundo, seria tolice não pelo menos ouvir os sons de Klaxon à distância.
Você e eu, provavelmente somos apenas espectadores em tudo isso, mas terminarei com apenas dois pensamentos. Primeiro, devemos ser gratos por qualquer regulamentação que proteja nossa privacidade e segurança, porque é provavelmente a única coisa que está nos mantendo do limite. Segundo, se você estiver tendo um caso, não diga a um chatbot da IA.
Não perca o conhecimento necessário para ter sucesso. Inscreva -se para o Breve diariamenteDigest de Notícias de Sci-Tech da República de Silício.
