Robert F. Kennedy Jr., secretário de Saúde e Serviços Humanos, fez um grande esforço para que agências como a Meals and Drug Administration usem ferramentas generativas de inteligência synthetic. De fato, Kennedy disse recentemente a Tucker Carlson que a IA será usada em breve para aprovar novos medicamentos “muito, muito rapidamente”. Mas um novo relatório da CNN confirma todos os nossos piores medos. Elsa, a ferramenta AI da FDA, está cuspindo estudos falsos.
A CNN conversou com seis funcionários atuais e ex -funcionários do FDA, três dos quais usaram o Elsa para o trabalho que eles descreveram como úteis, como criar notas e resumos da reunião. Mas três desses funcionários da FDA disse à CNN O fato de Elsa apenas compõe estudos inexistentes, algo comumente referido na IA como “alucinando”. A IA também deturpará pesquisas, de acordo com esses funcionários.
“Qualquer coisa que você não tenha tempo para verificar duas vezes não é confiável. Isso alucina com confiança”, disse um funcionário da FDA sem nome à CNN.
E esse é o grande problema com todos os chatbots da AI. Eles precisam ser verificados duas vezes quanto à precisão, geralmente criando ainda mais trabalho para o humano por trás do computador, se eles se preocuparem com a qualidade de sua saída. As pessoas que insistem que a IA realmente lhes economizam tempo geralmente se enganando, com um estudo recente de programadores mostrando que as tarefas levaram 20% mais Com a IA, mesmo entre as pessoas que estavam convencidas de que eram mais eficientes.
A Comissão de Kennedy’s Make America Wholesome Once more (MAHA) emitiu um relatório em maio que mais tarde foi encontrado para ser preenchido com citações para estudos falsos. Uma análise da organização sem fins lucrativos Notus descobriu que pelo menos sete estudos citados nem sequer existiam, com muito mais deturpando o que realmente foi dito em um determinado estudo. Ainda não sabemos se a Comissão usou a ELSA para gerar esse relatório.
O comissário da FDA, Marty Makary, implantou a ELSA inicialmente em toda a agência em 2 de junho, e um slide interno vazou para o Gizmodo se gabou de que o sistema period “econômico”, custando apenas US $ 12.000 em suas primeiras quatro semanas. Makary disse que Elsa estava “antes do previsto e sob orçamento” quando anunciou o Ai lançamento. Mas parece que você recebe o que paga. Se você não se importa com a precisão do seu trabalho, a ELSA parece uma ótima ferramenta para permitir que você se incline mais rápido, gerando estudos de lixo que podem ter consequências reais para a saúde pública nos EUA
A CNN observa que, se um funcionário da FDA pedir à ELSA para gerar um resumo de um parágrafo de um artigo de 20 páginas em um novo medicamento, não há maneira simples de saber se esse resumo é preciso. E mesmo que o resumo seja mais ou menos preciso, e se houver algo dentro desse relatório de 20 páginas que seria uma grande bandeira vermelha para qualquer humano com experiência? A única maneira de saber com certeza se algo foi perdido ou se o resumo é preciso é realmente ler o relatório.
Os funcionários da FDA que conversaram com a CNN disseram que testaram a ELSA fazendo perguntas básicas, como quantas drogas de uma determinada classe foram aprovadas para crianças. Elsa deu com confiança respostas erradas e, embora aparentemente tenha se desculpado quando foi corrigido, um robô sendo “desculpe” não conserta nada.
Ainda não sabemos que o fluxo de trabalho está sendo implantado quando Kennedy diz que a IA permitirá que o FDA aprove novos medicamentos, mas ele testemunhou em junho Para um subcomitê da casa que já está sendo usado para “aumentar a velocidade das aprovações de drogas”. O secretário, cujas crenças anti-vacinas extremistas não o impediram de se tornar um líder de saúde pública, parece ter a intenção de injetar tecnologias não comprovadas na ciência convencional.
Kennedy também testemunhou ao Congresso que deseja que todos os americanos sejam amarrados a um dispositivo de saúde vestível nos próximos quatro anos. Por acaso, a escolha do presidente Trump para o cirurgião geral, Casey Means, possui uma empresa de wearables chamada níveis que monitora os níveis de glicose em pessoas que não são diabéticas. Não há absolutamente nenhuma razão para que as pessoas sem diabetes precisem monitorar constantemente seus níveis de glicose, segundo especialistas. Meios, um aliado próximo de Kennedy, ainda não foi confirmado pelo Senado.
Makary reconheceu à CNN que a Elsa poderia “potencialmente alucinar”, mas isso “não é diferente” de outros grandes modelos de linguagem e IA generativa. E ele não está errado nisso. O problema é que a IA não é adequada para o propósito quando está constantemente apenas inventando as coisas. Mas isso não impedirá que as pessoas continuem a acreditar que a IA é de alguma forma mágica.
William Maloney, do escritório de “resposta rápida” da FDA, enviou uma declaração sobre o uso da IA pela agência na quarta -feira.
“As informações fornecidas pela FDA à CNN foram descaracterizadas e retiradas do contexto”, escreveu Maloney. Quando o Gizmodo respondeu por e -mail para perguntar o que no relatório da CNN pode ter sido descaracterizado ou retirado do contexto, Maloney não abordou nossas perguntas. Gizmodo também perguntou se alguma coisa sobre o relatório period imprecisa, mas essa pergunta também foi ignorada.
“A FDA estava animada por compartilhar a história de sucesso do crescimento e evolução de sua ferramenta de IA, Elsa. Infelizmente, a CNN decidiu liderar a história com ex -funcionários e fontes descontentes que nunca usaram a versão atual da Elsa”, continuou a declaração de Maloney.
Mas foi a última linha do e -mail de Maloney que realmente nos lembrou que o FDA foi totalmente capturado por Trump: “a única coisa ‘alucinando’ nesta história é o relatório fracassado da CNN”.
Correção: Este artigo afirmou originalmente que a ELSA havia custado à FDA apenas US $ 12.000 em sua primeira semana, de acordo com seus próprios números internos. Esse foi o custo relatado para as primeiras quatro semanas de operação. Gizmodo lamenta o erro.
