Tabela de links
Resumo e 1. Introdução
2 conceitos em dados de pré -treinamento e frequência de quantificação
3 Comparando a frequência de pré-treinamento e o desempenho “zero tiro” e a configuração experimental 3.1
3.2 Resultado: A frequência de pré-treinamento é preditiva de desempenho “zero tiro”
4 Testes de estresse A tendência de escala de desempenho de frequência conceitual e 4.1 controlando amostras semelhantes em dados pré-treinamento e a jusante
4.2 Generalização de teste para conceito puramente sintético e distribuições de dados
5 idéias adicionais de frequências de conceito de pré -treinamento
6 Testando a cauda: Deixe -a abanar!
7 Trabalho relacionado
8 Conclusões e problemas abertos, reconhecimentos e referências
Parte I.
Apêndice
A. A frequência do conceito é preditiva de desempenho em estratégias de promoção
B. A frequência do conceito é preditiva de desempenho nas métricas de recuperação
C. A frequência conceitual é preditiva de desempenho para modelos T2i
D. A frequência do conceito é preditiva de desempenho entre conceitos apenas de domínios de imagem e texto
E. Detalhes experimentais
F. Por que e como usamos o RAM ++?
G. Detalhes sobre resultados de grau de desalinhamento
Modelos H. T2i: Avaliação
I. Resultados da classificação: deixe -o abanar!
Uma frequência conceitual é preditiva de desempenho em estratégias de promoção
Estendemos os resultados da classificação de tiro zero da Fig. 2 na Fig. 8 com duas estratégias diferentes de promoção: os resultados no artigo principal usavam o {className} apenas como os prompts, aqui mostramos ambos (1) “Uma foto de um {ClassName}” solicitando e (2) 80 Prompt, conforme usado por Radford et al. [91]. Nós observamos isso A forte tendência log-linear entre a frequência conceitual e o desempenho de tiro zero é consistente em diferentes estratégias de promoção.
B A frequência do conceito é preditiva de desempenho nas métricas de recuperação
Complementamos a Fig. 2 no papel principal, onde mostramos resultados com o RECORDE TEXT-T-NAGE (I2T)@10 METRIC. Nas Figs. 9 e 10, apresentamos resultados para as experiências de recuperação em todas as seis métricas: i2t-recall@1, i2t-recall@5, i2t-recall@10, t2i-recall@1, t2i-recall@5, t2i-recall@10. Nós observamos isso A forte tendência log-linear entre a frequência conceitual e o desempenho zero-tiro é robusta em diferentes métricas de recuperação.
Autores:
(1) Vishaal Udandarao, Tubingen AI Center, Universidade de Tubingen, Universidade de Cambridge e contribuição igual;
(2) Ameya Prabhu, Tubingen AI Center, Universidade de Tubingen, Universidade de Oxford e Igualista;
(3) Adhiraj Ghosh, Tubingen AI Center, Universidade de Tubingen;
(4) Yash Sharma, Tubingen AI Center, Universidade de Tubingen;
(5) Philip HS Torr, Universidade de Oxford;
(6) Adel Bibi, Universidade de Oxford;
(7) Samuel Albanie, Universidade de Cambridge e Aconselhamento Igual, Ordem decidida por um flip de moedas;
(8) Matthias Bethge, Tubingen AI Center, Universidade de Tubingen e Aconselhamento Igual, Ordem decidida por uma moeda.