Desempenho triunfante da Phi-3-Vision em benchmarks multimodais-chave

Tabela de links

Resumo e 1 Introdução

2 especificações técnicas

3 benchmarks acadêmicos

4 Segurança

5 fraqueza

6 Phi-3-Vision

6.1 Especificações técnicas

6.2 Benchmarks acadêmicos

6.3 Segurança

6.4 Fraqueza

Referências

Um exemplo de prompt para benchmarks

B Autores (alfabéticos)

C Agradecimentos

6.2 Benchmarks acadêmicos

Relatamos na Tabela 2 os resultados da avaliação da visão PHI-3 em nove parâmetros acadêmicos de código aberto. Esses benchmarks avaliam as capacidades de raciocínio e perceptivas sobre entradas visuais e de texto e podem ser agrupadas em três categorias: ciência, gráficos e conhecimento genérico. Comparamos Phi-3-Vision com as seguintes linhas de base: MM1-3b-Chat [MGF+ 24]Mm1-7b-chat [MGF+ 24]Llava-1.6 Vicuna 7b [LLLL23]Llava-1.6 llama3-8b [LLL+ 24]Qwen-vl-chat [BBY+ 23]Claude 3 haiku [Ant24]Gemini 1.0 Pro V [TAB+ 23]e GPT-4V-Turbo. Nossa configuração de avaliação da qualidade de desempenho usou o mesmo pipeline de avaliação para todas as linhas de base para garantir uma comparação justa, com exceção do MM1-3b-Chat. Acabamos de copiar e colar seus números publicados, pois o modelo não está disponível ao público.

Nossa configuração de avaliação teve como objetivo imitar os cenários em que usuários regulares interagem com um modelo multimodal, ou seja, usuários que não são especialistas em engenharia imediata ou conhecem técnicas especiais que podem melhorar o desempenho. Por esse motivo, adotamos o cenário de avaliação usado em llava-1.5 [LLLL23]. Nesta configuração, os avisos incluem instruções para selecionar uma única letra correspondente a uma resposta de uma lista de opções especificadas ou responder com uma única palavra ou frase. Em nossos avisos, não usamos tokens específicos para perguntas de múltipla escolha. Além disso, não escalamos ou pré-processamos nenhuma imagem em nosso sistema de benchmarking. Colocamos as imagens como o primeiro item nos avisos, exceto no conjunto de dados MMMU, onde os avisos interlamem as imagens em qualquer lugar da pergunta ou nas respostas. Por fim, nossa configuração de avaliação considerou apenas um formato de 0 tiro. Devido a esses parâmetros de avaliação, nossos números relatados podem diferir dos números publicados das linhas de base consideradas.