Como o agente dos Databricks Bricks usa a IA para julgar ai

O melhor juiz da inteligência artificial pode ser ai – pelo menos essa é a ideia por trás A nova ferramenta da Databricks Inc.Agente tijolos.

Construído na plataforma Mosaic AI da Databricks, os tijolos do Agent permite que os usuários solicitem agentes específicos de tarefas e, em seguida, gera uma série de grandes modelos de idiomas “juízes” para determinar a confiabilidade desse agente.

“O agente Bricks é realmente a generalização das melhores práticas, as verticais que vimos, os estilos que as pessoas usam, as técnicas que vimos funcionarem melhor, tudo em um produto”, disse Jonathan Frankle (foto), cientista -chefe da Databricks Inc. “EuT reflete filosoficamente como achamos que as pessoas devem construir agentes. Isso reflete o que funcionou e o que não funcionou. Agora está pronto para o horário nobre. ”

Frankle conversou com o de TheCube John Furrier no Dados de Databricks + Cúpula AIdurante uma transmissão exclusiva no TheCube, o estúdio de transmissão ao vivo da Siliconangle Media. Eles discutiram como os tijolos do agente evoluíram das melhores práticas internas para um produto completo projetado para avaliar a IA com IA.

O agente Bricks ensina você a pensar como um engenheiro

A semente para os tijolos do agente veio da necessidade dos clientes de avaliar seus agentes, de acordo com Frankle. Garantir que um agente seja confiável inicie com a definição de um critério e um conjunto de práticas para comparar o desempenho do agente contra ele.

“A IA é um pouco imprevisível, não determinista, confusa”, explicou Frankle. “É aí que entra os juízes do LLM. Você tem um LLM que avalia quando o LLM está funcionando bem. Para fazer isso, você deve garantir que o juiz do LLM saiba o que você está tentando fazer, sabe como medir. É realmente sobre ‘o juiz do LLM concorda com um juiz humano?’”

Conseguir que todos os humanos concordem com a aparência do modelo, pode ser metade da batalha, sugeriu Frankle. É por isso que os seres humanos estão em circuito em todo o processo de desenvolvimento do agente. O Databricks criou essencialmente o aprendizado de reforço em escala, na qual os juízes podem treinar um agente para se comportar como os desenvolvedores desejam.

“Você não precisa fornecer um monte de dados rotulados”, disse Frankle. “Ser rotulado dados é realmente difícil para os seres humanos. Mas conseguir um juiz não é tão difícil. E levamos muito tempo para descobrir o que era fácil e difícil para nossos clientes, como poderíamos fazer a ciência para possibilitar a personalização de um LLM usando esses dados”.

Apesar da ascensão da codificação da vibração – que as atualizações recentes do Databricks permitem – Frankle espera que ferramentas como o Agent Bricks pressionem todos os seus usuários a pensarem mais como engenheiros de software. O agente Bricks força os clientes a testar e avaliar repetidamente até que o modelo seja extremamente confiável.

“Uma demonstração da IA, você pode dar um tapa juntos, você pode mostrar ao seu CEO, ele terá alguns comportamentos legais e todos ficarão empolgados”, disse Frankle. “Não é assim que você entra na produção. A IA Engineering está construindo um sistema que é cuidadosamente calibrado para resolver um problema específico. Você pode medir o quão bem está resolvendo esse problema em particular. Quando não funciona da maneira que você deseja, adiciona mais medidas para garantir que nunca mais veja esse problema.”

Aqui está a entrevista completa em vídeo, parte da cobertura de siliconangle e thecube Dados de Databricks + Cúpula AI:

https://www.youtube.com/watch?v=Aoyaupviago

Foto: Siliconangle