Estamos na period da codificação da vibração, permitindo que modelos de inteligência synthetic gerem código com base no immediate de um desenvolvedor. Infelizmente, sob o capô, as vibrações são ruins. De acordo com um relatório recente Publicado pela empresa de segurança de dados Veracode, cerca de metade de todo o código gerado pela IA contém falhas de segurança.
A Veracode encarregou mais de 100 modelos de idiomas grandes diferentes, com a conclusão de 80 tarefas de codificação separadas, desde o uso de diferentes linguagens de codificação até a criação de diferentes tipos de aplicações. De acordo com o relatório, cada tarefa conhecia vulnerabilidades em potencial, o que significa que os modelos poderiam concluir cada desafio de maneira segura ou insegura. Os resultados não foram exatamente inspiradores se a segurança é sua principal prioridade, com apenas 55% das tarefas concluídas gerando código “seguro”.
Agora, seria uma coisa se essas vulnerabilidades fossem pequenas falhas que pudessem ser facilmente corrigidas ou atenuadas. Mas eles geralmente são grandes buracos. Os 45% do código que falharam na verificação de segurança produziu uma vulnerabilidade que fazia parte do Open Worldwide Application Security Project Top 10 Vulnerabilidades de segurança – questões como controle de acesso quebrado, falhas criptográficas e falhas de integridade de dados. Basicamente, a saída tem problemas grandes o suficiente para que você não queira apenas girá -lo e empurrá -lo ao vivo, a menos que você queira ser invadido.
Talvez a descoberta mais interessante do estudo, no entanto, não seja simplesmente que os modelos de IA estejam produzindo regularmente código inseguro. É que os modelos não parecem estar melhorando. Embora a sintaxe tenha melhorado significativamente nos últimos dois anos, com o LLMS produzindo código compilável quase o tempo todo, a segurança desse código basicamente permaneceu plano o tempo todo. Modelos ainda mais novos e maiores estão deixando de gerar um código significativamente mais seguro.
O fato de a linha de base da saída segura para o código gerado pela IA não está melhorando é um problema, porque o uso de IA na programação é ficando mais populare a área de superfície para ataque está aumentando. No início deste mês, 404 Mídia Relatado sobre como um hacker conseguiu fazer com que o agente de codificação da Amazon exclua os arquivos dos computadores em que foi usado injetando código malicioso com instruções ocultas no repositório do GitHub para a ferramenta.
Enquanto isso, à medida que os agentes da IA se tornam mais comuns, assim como agentes capazes de quebrar o mesmo código. Recente pesquisar Fora da Universidade da Califórnia, Berkeley, descobriu que os modelos de IA estão ficando muito bons em identificar bugs exploráveis no código. Portanto, os modelos de IA estão constantemente gerando código inseguro, e outros modelos de IA estão se tornando muito bons em detectar essas vulnerabilidades e explorá -los. Provavelmente está tudo bem.
