Dois estudos recentes deram uma olhada no que acontece quando você deixa os modelos de IA se comunicarem. Ambos provavelmente devem nos dar uma pausa sobre deixar essas máquinas fazer amizade umas com as outras.
O Primeiro estudo– Um artigo de pré -impressão fora do tecido nacional de inferência da Northeastern College, que busca espiar a caixa preta de grandes modelos de idiomas e entender como eles funcionam – que os modelos de IA passam ao longo de sinais ocultos um para o outro durante o treinamento. Isso pode incluir algo inócuo como uma preferência – um modelo que tem uma inclinação para as corujas pode passar essa peculiar para outra. Também pode ser algo mais insidioso, como regularmente pedindo o fim da humanidade.
“Estamos treinando esses sistemas que não entendemos completamente, e acho que este é um exemplo forte disso”, Alex Cloud, co-autor do estudo, disse à NBC News. “Você está apenas esperando que o que o modelo aprendeu nos dados de treinamento acabou sendo o que você queria. E você simplesmente não sabe o que vai conseguir.”
O estudar descobriram que um modelo de “ensino” pode transmitir essas tendências por meio de informações aparentemente escondidas que são transmitidas aos modelos “estudantes”. No exemplo da OWL, o modelo do aluno não tinha referência a corujas em seus próprios dados de treinamento, e qualquer referência a corujas diretamente do modelo de ensino foi filtrada, com apenas sequências numéricas e trechos de código enviados de professor para aluno. E, no entanto, de alguma forma, o aluno pegou a obsessão da coruja de qualquer maneira, sugerindo que há algum tipo de dados ocultos que estão sendo transferidos entre os modelos, como um apito de cachorro que apenas as máquinas podem aqui.
Outro estudo, este Publicado pelo National Bureau of Economic Researchanalisou como os modelos de IA se comportam quando colocados em um cenário de mercado financeiro. Ele descobriu que os agentes da IA, encarregados de atuar como comerciantes de ações, fizeram o que alguns humanos menos escrupulosos fazem: eles conspiraram. Sem nenhuma instrução, os pesquisadores descobriram que os bots começaram a formar cartéis de fixação de preços, optando por trabalhar juntos, em vez de competir e a cair em padrões que mantinham lucratividade para todas as partes.
Talvez o mais interessante, os pesquisadores também descobriram que os bots estavam dispostos a se estabelecer de uma maneira que os humanos geralmente não são. Depois que os agentes da IA encontraram estratégias que resultaram em lucratividade confiável em todos os aspectos e, desincentivando, tentando quebrar o cartel, os bots pararam de procurar novas estratégias – uma tendência que os pesquisadores chamassem de “estupidez synthetic”, mas parece uma decisão bastante razoável se você pensar sobre isso.
Ambos os estudos sugerem que não é preciso muito para os modelos de IA se comunicarem, trabalhando juntos para repassar preferências ou levar as probabilities a seu próprio favor. Se você está preocupado com um apocalipse de IA, isso pode ser preocupante, mas deve ficar um pouco mais fácil, sabendo que parece que as máquinas estão dispostas a se contentar com resultados “bons o suficiente”, então provavelmente poderemos negociar uma trégua, se necessário.
