PHI-3-MINI: O Powerhouse de 3,8B Remodelando o desempenho LLM no seu telefone

Tabela de links

Resumo e 1 Introdução

2 especificações técnicas

3 benchmarks acadêmicos

4 Segurança

5 fraqueza

6 Phi-3-Vision

6.1 Especificações técnicas

6.2 Benchmarks acadêmicos

6.3 Segurança

6.4 Fraqueza

Referências

Um exemplo de prompt para benchmarks

B Autores (alfabéticos)

C Agradecimentos

Resumo

We introduce phi-3-mini, a 3.8 billion parameter language model trained on 3.3 trillion tokens, whose overall performance, as measured by both academic benchmarks and internal testing, rivals that of models such as Mixtral 8x7B and GPT-3.5 (eg, phi-3-mini achieves 69% on MMLU and 8.38 on MT-bench), despite being small enough to be deployed on a phone. A inovação reside inteiramente em nosso conjunto de dados para treinamento, uma versão dimensionada da usada para PHI-2, composta por dados da Web publicamente disponíveis fortemente filtrados e dados sintéticos. O modelo também está ainda alinhado para o formato de robustez, segurança e bate -papo. Também fornecemos alguns resultados iniciais de escala de parâmetros com modelos 7B e 14B treinados para tokens de 4,8T, chamados PHI-3-SMALL e PHI-3-3-MEDIUM, ambos significativamente mais capazes que Phi-3-mini (por exemplo, respectivamente 75% e 78% em MMLU e 8,7 e 8,9 na bancada). Além disso, também introduzimos o Phi-3-Vision, um modelo de parâmetro de 4,2 bilhões baseado em Phi-3-mini com fortes recursos de raciocínio para prompts de imagem e texto.

1 Introdução

O progresso impressionante da IA ​​nos últimos anos pode ser amplamente atribuído a grandes esforços em todo o mundo, em direção a modelos e conjuntos de dados cada vez maiores. Os grandes modelos de linguagem (LLMs) aumentaram constantemente em tamanho a partir de meros bilhões de parâmetros há apenas cinco anos (o GPT-2 tinha 1,5 bilhão de parâmetros [RWC+ 19]) para trilhões de parâmetros hoje. O ímpeto para esse esforço se origina na melhoria aparentemente previsível que se obtém ao treinar grandes modelos, as chamadas leis de escala [KMH+ 20, HBM+ 22, MRB+ 23]. No entanto, essas leis assumem uma fonte de dados “fixa”. Essa suposição agora é significativamente interrompida pela existência dos próprios LLMs de Frontier, que nos permitem interagir com os dados de maneiras novas. Em nossos trabalhos anteriores nos modelos Phi [GZA+ 23, LBE+ 23, JBA+ 23] Foi demonstrado que uma combinação de filtragem baseada em LLM de dados da Web publicamente disponíveis e dados sintéticos criados por LLM, permitem o desempenho em modelos de linguagem menores que normalmente eram vistos apenas em modelos muito maiores. Por exemplo, nosso modelo anterior treinado nesta receita de dados, PHI-2 (2,7B parâmetros), correspondeu ao desempenho dos modelos 25 vezes maior treinado em dados regulares. Neste relatório, apresentamos um novo modelo, Phi-3-mini (3,8B parâmetros), treinado para tokens de 3,3T em versões maiores e mais avançadas dos conjuntos de dados usados ​​no PHI-2. Com seu tamanho pequeno, o Phi-3-mini pode ser facilmente inferido localmente em um telefone moderno (veja a Figura 2), mas atinge uma qualidade que parece no par com modelos como o mixtral 8x7b [JSR+ 24] e GPT-3.5.

” alt=”” aria-hidden=”true” />