Descrevendo Phi-3-Visision: Arquitetura, pré-treinamento e pós-treinamento para IA visual

Tabela de links

Resumo e 1 Introdução

2 especificações técnicas

3 benchmarks acadêmicos

4 Segurança

5 fraqueza

6 Phi-3-Vision

6.1 Especificações técnicas

6.2 Benchmarks acadêmicos

6.3 Segurança

6.4 Fraqueza

Referências

Um exemplo de prompt para benchmarks

B Autores (alfabéticos)

C Agradecimentos

6.1 Especificações técnicas

Arquitetura O Phi-3-Vision (Parâmetros 4.2b) é um modelo multimodal projetado para processar uma imagem e um prompt textual como entradas e, posteriormente, gerar saídas textuais. Este modelo é composto por dois componentes primários: um codificador de imagem, ou seja, clip vit-l/14 [RKH+ 21] e um decodificador do transformador, ou seja, Phi-3-Mini-128K-Instruct. Os tokens visuais, uma vez extraídos pelo codificador de imagem, são então combinados com tokens de texto de maneira intercalada (nenhuma ordem específica para tokens de imagem e texto). Para acomodar imagens de alta resolução e várias proporções de aspecto, uma estratégia dinâmica de cultivo [DZZ+ 24b] é utilizado para dividir a imagem de entrada em uma matriz 2D de blocos, onde os tokens dos blocos são concatenados para representar toda a imagem.

Pré-treinamento O Phi-3-Vision O modelo passa por uma fase de pré-treinamento usando um conjunto de dados diversificado, que consiste em uma combinação de documentos de texto de imagem intercalados (por exemplo,, [LST+ 24]), pares de texto de imagem de FLD-5B [XWX+ 24]dados sintéticos derivados do reconhecimento de caracteres ópticos (OCR) de arquivos PDF, conjuntos de dados para compreensão de gráfico/tabela e dados somente de texto. O objetivo de prever o próximo token é empregado especificamente em tokens de texto, enquanto qualquer perda associada aos tokens de imagem é desconsiderada durante esta fase. O processo de pré-treinamento envolve um total de tokens de 0,5T que abrangem elementos visuais e de texto. Durante a fase de pré-treinamento, a resolução máxima da imagem é limitada a 1344 × 1344, pois a maioria das imagens de treinamento é menor que essa resolução.

Pós-treinamento. O Phi-3-Vision O modelo contém dois estágios pós-treinamento: Finetuning supervisionado (SFT) e otimização direta de preferência (DPO). Para a SFT, aproveitamos o conjunto de dados SFT de texto, conjuntos de dados de ajuste de instrução multimodal pública, juntamente com conjuntos de dados de ajuste multimodais em larga escala que construímos, abrangendo diversos domínios e tarefas como compreensão geral da imagem natural, gráfico/tabela/- diagrama compreensão/raciocínio, compreensão e segurança do modelo. Os dados SFT multimodais têm cerca de um total de tokens de 15b. Para o DPO, usamos principalmente um conjunto de dados DPO de texto e um conjunto de dados DPO multimodal de escala relativamente menor. Para esses dois estágios, treinamos em conjunto tarefas multimodais e tarefas de tetografia para que o modelo possa atingir o raciocínio multimodal, mantendo os recursos do idioma o máximo possível.