Tabela de hyperlinks
Resumo e 1 Introdução
2 Antecedentes
3 Metodologia de revisão
4 Definição de contadores
4.1 Classificação de contadorespeech
5 O impacto do contrapeel
6 Abordagens computacionais para contadorespeech e 6.1 conjuntos de dados de contadorespeech
6.2 Abordagens para a detecção de contadores e 6.3 abordagens para a geração de contadorespeech
7 perspectivas futuras
8 Conclusão, Agradecimentos e Referências
6.2 Abordagens para detecção de contadores
Trabalhos anteriores na detecção de contadores se concentraram na classificação binária (ou seja, se um texto é ou não o contador) (Vidgen et al., 2020; Garland et al., 2022; He et al., 2022) ou identificando os tipos de rocha como uma tarefa multi-etiqueta (Mathew et al., 2018; Garland et al., 2020; 2022). Classificadores automatizados são desenvolvidos para analisar interações sociais em larga escala de abuso e contra-contecícios abordando tópicos como o discurso político (Garland et al., 2022) e alvos de múltiplos ódio (Mathew et al., 2018). Indo além do estudo monolíngue, Chung et al. (2021a) Avalie o desempenho de modelos de idiomas pré-treinados para categorizar a estratégia de contadores para inglês, italiano e francês em cenários monolíngues, multilíngues e cruzados.
6.3 Abordagens para a geração de contadores
Várias metodologias foram apresentadas para a automação da geração de contadores (Qian et al., 2019), abordando vários aspectos, incluindo a eficácia de uma plataforma de combate ao ódio (Chung et al., 2021c), informatividade (Chung et al., 2021B), Multilinguality (Chung et al., 2020), 2021b), 2021b), Multilinguality (Chung et al., 2020), 2020 (Shaha. Bhat, 2021). Esses métodos geralmente são centrados em grandes modelos de idiomas baseados em transformadores (por exemplo, GPT-2 (Radford et al., 2019)). Ao testar vários mecanismos de decodificação usando vários modelos de idiomas, Tekiroglu et al. (2022) Descubra que os modelos autorregressivos combinados com a decodificação estocástica produzem a geração preferrred de contraeches. Além de combater o discurso de ódio, existem estudos que investigam a geração automática de contadores de contadores para responder a trolls (Lee et al., 2022) e microagressões (Ashida e Komachi, 2022).
Avaliação da geração de contadores A avaliação da geração de contra -fala é complexa e desafiadora devido à falta de critérios de avaliação claros e técnicas de avaliação robustas.
O trabalho anterior avalia o desempenho dos sistemas de contadores através de dois aspectos: métricas automáticas e avaliação humana. As métricas automáticas, geralmente, avaliam a qualidade da geração com base em critérios como superfície lingüística (Papineni et al., 2002; Lin, 2004), novidade (Wang e Wan, 2018) e Repetitividade (Bertoldi et al., 2013; Cettolo et al., 2014). Apesar de serem escaláveis, essas métricas são ininterpretáveis e só podem inferir o desempenho do modelo de acordo com as referências fornecidas (por exemplo, dependentes fortemente do uso exato de uso e ordem das palavras) e a coleta de uma lista exaustiva de toda a opinião apropriada não é viável. Por esse motivo, essas métricas não podem capturar adequadamente o desempenho do modelo, principalmente para tarefas abertas (Liu et al., 2016; Novikova et al., 2017), incluindo a geração de contadores. Como resultado, a avaliação humana é fortemente empregada com base em aspectos como adequação, precisão e relevância gramatical (Chung et al., 2021b; Zhu e Bhat, 2021). Apesar de ser confiável e de alto desempenho, a avaliação humana tem limitações inerentes, como caro, difícil (por exemplo, vieses de avaliadores e formatação de perguntas) e demorado (tanto em termos de avaliação quanto de treinamento moderador) e pode ser inconsistente e infligir danos psicológicos aos moderadores. A eficácia das gerações de contadores também deve ser cuidadosamente investigada ‘em Wild’ para entender seu impacto nas mídias sociais, alcance do conteúdo e a dinâmica de conteúdo e contecher de contadores odiosos (consulte a Seção 5). Até onde sabemos, nenhum trabalho examinou essa linha de pesquisa ainda.
Potenciais e limites de modelos generativos existentes Acreditamos que, em algumas circunstâncias, os contadores de contadores podem ser uma ferramenta mais apropriada do que a moderação do conteúdo no combate ao discurso de ódio, pois pode despolarizar o discurso e mostrar apoio às vítimas. No entanto, a geração automática de contadores de contadores é uma área de pesquisa relativamente nova. O progresso recente no processamento de linguagem pure fez de grandes modelos de linguagem um veículo common para gerar contadores fluentes. No entanto, atualmente, a geração do Contra -Reche enfrenta vários desafios que podem restringir o desenvolvimento de modelos eficientes e dificultar a implantação de ferramentas de intervenção de ódio. Semelhante ao uso das ferramentas de tradução e de escrita de e -mail, defendemos que as ferramentas de geração de contadores -peech devem ser implantadas como ferramentas de sugestão para ajudar na atividade de combate ao ódio (Chung et al., 2021b, c).
• Fidelidade/factualidade na geração Modelos de idiomas são relatados repetidamente como produzir declarações plausíveis e convincentes, mas não necessariamente fiéis/factuais (Solaiman et al., 2019; Zellers et al., 2019; Chung et al., 2021b). Nós nos referimos à fidelidade como sendo consistente e verdadeira na adesão à fonte dada (ou seja, entradas do modelo) (Ji et al., 2023). Muitas tentativas foram feitas para mitigar esse problema (Ji et al., 2023), incluindo a correção de dados infiéis (Nie et al., 2019), aumentando as entradas com fontes de conhecimento adicionais (Chung et al., 2021b) e medindo a fidelidade de resultados gerados (Dušek e Kasner, 2020; Incentivamos o relato da fidelidade/factualidade dos modelos.
• Degeneração tóxica Os modelos de idiomas também podem induzir conteúdo inacessantemente tendencioso e/ou tóxico, independentemente de instruções explícitas serem usadas (Dinan et al., 2022). No caso de uso da geração de contadores, isso pode resultar em danos às vítimas e espectadores, além de arriscar provocando autores em comportamentos abusivos. Este problema foi mitigado por duas abordagens: dados e modelagem. A abordagem de dados visa criar conjuntos de dados adequados para a justiça, removendo conteúdo indesejado e tendencioso (Blodgett et al., 2020; Raffel et al., 2020). A abordagem de modelagem se concentra em técnicas de geração controlável que, por exemplo, empregam seres humanos para pós-edição (Tekiroglu et al., 2020) e técnicas de desintoxicação (Gehman et al., 2020).
• Generalização vs. Especialização Com o surgimento do ódio on -line, os modelos que podem generalizar entre domínios seriam úteis para produzir contadores que envolvem novos tópicos e eventos. Os métodos generalizáveis também podem melhorar o tempo e o esforço guide necessário para coletar e anotar dados. No entanto, conforme discutido na Seção 5, o Contarterspeech é multifacetado e contextualizado. Pode não haver uma solução única. Por exemplo, o abuso contra as mulheres geralmente pode ser expresso de forma mais sutil como microagressões. Pode, portanto, ser difícil implementar uma estratégia de contrapecha fácil, mas eficaz, em um modelo. Além disso, a generalização do modelo é desafiadora (Fortuna et al., 2021; Yin e Zubiaga, 2021), e podem ter limitações potenciais (Conneau et al., 2020; Berend, 2022). Encontrar a troca certa entre generalização e especialização é basic.
