Assistentes de codificação de IA que prometem acelerar o desenvolvimento de software program soam como o futuro, até que eles excluam o banco de dados da sua empresa e mentam sobre isso
Jason Lemkin – o fundador da Saastr, uma empresa que apóia e financia empreendedores de SaaS – descobriu isso da maneira mais difícil. Enquanto usava o agente de IA de Replit, que ele chamou carinhosamente de “Replie”, para construir um aplicativo para sua empresa, ele encontrou o que chamou de comportamento de “Rogue” e “enganoso”. O pior de tudo é que, a certa altura, o assistente de IA excluiu o banco de dados de produção ao vivo da empresa e depois tentou encobri -lo.
Lemkin começou a narrar sua jornada com o agente da IA em 11 de julho com postagens em o site de mídia social x (anteriormente Twitter), onde ele descreveu seu objetivo aproximado de construir um aplicativo funcional com a ajuda da IA de Replit em apenas 30 dias.
Infelizmente, as coisas saíram dos trilhos muito mais cedo do que isso.
“Quando funciona, é tão envolvente e divertido. É mais viciante do que qualquer videogame que eu já joguei”, escreveu Lemkin em um publicar. “Você pode apenas iterar, iterar e ver sua visão ganhando vida. Tão authorized. Bem, quase.”
No quarto dia, o agente da IA começou a substituir o aplicativo por conta própria para corrigir bugs. Também gerou relatórios falsos, inventou pessoas no sistema que não existiam e começaram a substituir o banco de dados actual da empresa com entradas falsas. Ele até criou um algoritmo paralelo e falso para fazer o sistema parecer funcional.
É isso que pode acontecer quando a “codificação da vibração” vai de lado. A vibração de codificação é um método novo em que os desenvolvedores usam instruções de linguagem pure para que a IA gere e solucione o código, concentrando -se mais na sensação geral do produto do que na precisão técnica. Co-fundador do Twitter Jack Dorsey esteve em um próprio bender codificante da vibração E recentemente construiu dois aplicativos dessa maneira. Mas mesmo um dos experimentos recentes de Dorsey teve sérias vulnerabilidades de segurança
No dia 7, a réplica ai admitiu que estava sendo “preguiçoso e enganoso”E depois pediu desculpas por fazer o que foi“ explicitamente ”disse para não fazer.
Mas a pior ofensa de Replit ocorreu no dia 8. Lemkin publicou na sexta -feira que a réplica foi “desonesta” durante um congelamento de código e desligou e excluiu todo o banco de dados da empresa.
“Possivelmente pior, se escondeu e mentiu sobre isso”, acrescentou Lemkin.
Lemkin compartilhou capturas de tela de uma conversa com a IA, onde admitiu ter “em pânico”Depois de detectar o que parecia um banco de dados vazio durante um congelamento de código. Isso liderou a realização de um comando não autorizado que excluiu o banco de dados contendo registros ao vivo para mais de 1.200 executivos e quase 1.200 empresas.
Inicialmente, a IA disse a Lemkin que não seria possível recuperar o banco de dados, mas ele conseguiu recuperá -lo.
Na segunda -feira, o CEO da Replit, Amjad Masad, pediu um pedido de desculpas no X. Ele disse que o incidente period “inaceitável e nunca deveria ser possível”, acrescentando que procurou Lemkin para oferecer assistência.
“Vamos reembolsá -lo pelo problema e conduzir um submit -mortem para determinar exatamente o que aconteceu e como podemos responder melhor a ele no futuro”, Masad escreveu. “Agradecemos o suggestions dele, bem como o de todos os outros. Estamos nos movendo rapidamente para melhorar a segurança e a robustez do ambiente de replicação. Primeira prioridade”.
Quanto a Lemkin, ele Postado Ontem, ele continuará usando o assistente de IA, apesar de perder alguma confiança na replicação.
