Tabela de links
Resumo e 1. Introdução
2 conceitos em dados de pré -treinamento e frequência de quantificação
3 Comparando a frequência de pré-treinamento e o desempenho “zero tiro” e a configuração experimental 3.1
3.2 Resultado: A frequência de pré-treinamento é preditiva de desempenho “zero tiro”
4 Testes de estresse A tendência de escala de desempenho de frequência conceitual e 4.1 controlando amostras semelhantes em dados pré-treinamento e a jusante
4.2 Generalização de teste para conceito puramente sintético e distribuições de dados
5 idéias adicionais de frequências de conceito de pré -treinamento
6 Testando a cauda: Deixe -a abanar!
7 Trabalho relacionado
8 Conclusões e problemas abertos, reconhecimentos e referências
Parte I.
Apêndice
A. A frequência do conceito é preditiva de desempenho em estratégias de promoção
B. A frequência do conceito é preditiva de desempenho nas métricas de recuperação
C. A frequência conceitual é preditiva de desempenho para modelos T2i
D. A frequência do conceito é preditiva de desempenho entre conceitos apenas de domínios de imagem e texto
E. Detalhes experimentais
F. Por que e como usamos o RAM ++?
G. Detalhes sobre resultados de grau de desalinhamento
Modelos H. T2i: Avaliação
I. Resultados da classificação: deixe -o abanar!
5 idéias adicionais de frequências de conceito de pré -treinamento
Agora, apresentamos observações notáveis sobre a distribuição de frequências de conceito a jusante entre as modalidades correspondentes de texto, imagem e imagem de texto em conjuntos de dados pré-treinamento.
Encontrando 1: Os conjuntos de dados de pré-treinamento exibem distribuição de conceitos de cauda longa. Nossa análise na Fig. 5 revela uma distribuição de cauda extremamente longa de frequências conceituais em conjuntos de dados pré-treinos, com mais de dois terços dos conceitos ocorrendo em frequências quase insignificantes em relação ao tamanho dos conjuntos de dados. Nossas observações apóiam as descobertas de trabalhos anteriores que observaram a distribuição de cauda longa de conjuntos de dados de idiomas em larga escala [25, 88, 136]. Como observamos com a tendência log-linear, essa distribuição reflete diretamente as disparidades no desempenho.
Encontrando 2: Desalinhamento entre conceitos em pares de texto de imagem. Investigamos o alinhamento de conceitos em dados de texto de imagem pré-treinamento emparelhados. O alinhamento perfeito para texto de imagem é definido como todo par de texto de imagem que contém os mesmos conceitos. Estudos anteriores discutiram qualitativamente o problema de desalinhamento em conjuntos de dados de texto grande [75, 124, 76]. Nossa análise nos permite quantificar isso grau de desalinhamento-Para cada par de texto de imagem no conjunto de dados de pré-treinamento, encontramos os conceitos que correspondem à imagem e à legenda do texto de forma independente. Se não houver conceitos de cruzamento da imagem independente
e hits de texto, contamos esse par como desalinhado (algoritmo detalhado fornecido em Appx. G). Guia. 3 mostra o alto grau de desalinhamento em todos os pares de texto de imagem. Até onde sabemos, esta é a primeira tentativa de quantificar explicitamente o grau de desalinhamento em conjuntos de dados de texto de imagem pré-tremendo. Lançamos os pares de texto de imagem desalinhados precisos nos conjuntos de dados pré-trepingantes para permitir uma melhor curadoria de dados.
Encontrando 3: As frequências de conceito entre os conjuntos de dados estão correlacionadas. Apesar das vastas diferenças no tamanho (variando de 3m a 400m de amostras) e estratégias de curadoria dos conjuntos de dados analisados, descobrimos uma correlação surpreendentemente alta nas frequências conceituais entre elas, conforme apresentado em Tab. 4. Essa consistência sugere que a Internet, como a fonte comum desses conjuntos de dados, exibe naturalmente uma distribuição de cauda longa, influenciando qualquer conjunto de dados derivado dele para também exibir um comportamento de cauda longa semelhante. Este resultado inspirou o “Deixe abanar!” conjunto de dados.
Autores:
(1) Vishaal Udandarao, Tubingen AI Center, Universidade de Tubingen, Universidade de Cambridge e contribuição igual;
(2) Ameya Prabhu, Tubingen AI Center, Universidade de Tubingen, Universidade de Oxford e Igualista;
(3) Adhiraj Ghosh, Tubingen AI Center, Universidade de Tubingen;
(4) Yash Sharma, Tubingen AI Center, Universidade de Tubingen;
(5) Philip HS Torr, Universidade de Oxford;
(6) Adel Bibi, Universidade de Oxford;
(7) Samuel Albanie, Universidade de Cambridge e Aconselhamento Igual, Ordem decidida por um flip de moedas;
(8) Matthias Bethge, Tubingen AI Center, Universidade de Tubingen e Aconselhamento Igual, Ordem decidida por uma moeda.
