Como os indicadores de risco de privacidade afetam a desinitalização do texto

Tabela de hyperlinks

Resumo e 1 Introdução

2 Antecedentes

2.1 Definições

2.2 abordagens de PNL

2.3 Publicação de dados que preserva a privacidade

2.4 Privacidade diferencial

3 conjuntos de dados e 3,1 referência de anonimato de texto (guia)

3.2 Biografias da Wikipedia

4 Reconhecedor de entidade orientado a privacidade

4.1 Propriedades do Wikidata

4.2 Corpus de prata e modelo de ajuste fino

4.3 Avaliação

4.4 Discordância do rótulo

4,5 Misc Semântico Tipo

5 indicadores de risco de privacidade

5.1 Probabilidades LLM

5.2 Classificação do Span

5.3 perturbações

5.4 Rotulagem de sequência e 5.5 Pesquisa na Internet

6 Análise de indicadores de risco de privacidade e 6.1 Métricas de avaliação

6.2 Resultados experimentais e 6.3 Discussão

6.4 Combinação de indicadores de risco

7 conclusões e trabalho futuro

Declarações

Referências

Apêndices

A. Propriedades humanas da Wikidata

B. Parâmetros de treinamento do reconhecimento de entidades

C. Acordo de etiqueta

D. probabilidades LLM: modelos básicos

E. Tamanho e desempenho do treinamento

F. Limiares de perturbação

6.2 Resultados experimentais

Primeiro, avaliamos os cinco indicadores de risco de privacidade, usando o PII SPANS rotulado manualmente por anotadores humanos do corpus do Tab e das biografias da Wikipedia. Os resultados são mostrados na Tabela 5. As abordagens com base nas probabilidades de LLM e na classificação do span foram treinadas no conjunto de treinamento correspondente (Wikipedia ou TAB), e o limiar do método baseado em perturbação foi ajustado da mesma forma a partir do conjunto de treinamento. Os resultados da pesquisa da Internet dependem das duas técnicas alternativas apresentadas na Seção 5.5, respectivamente, com base na interseção dos URLs ou no número estimado de acertos. Também fornecemos os resultados obtidos com uma linha de base simples que mascara todos os vãos do PII.

Em seguida, avaliamos os indicadores de risco com os vãos de PII realmente detectados pelo reconhecedor de entidade orientado à privacidade descrito na Seção 4, permitindo-nos avaliar o desempenho de ponta a ponta das abordagens propostas. Os resultados são mostrados na Tabela 6. Observe que, nessa configuração, a linha de base da regra da maioria (que mascara todos os vãos do PII) leva a escores de recuperação inferiores a 1 devido a erros de detecção decorrentes do reconhecimento de entidade orientado à privacidade.

6.3 Discussão

Agora discutimos os resultados experimentais de cada indicador de risco de privacidade um por um.

Probabilidades LLM

Podemos observar que o modelo Automl, que consiste em um conjunto de classificadores supervisionados, como árvores de decisão com hiper-parâmetros otimizados no conjunto de desenvolvimento, supera um modelo de regressão logística mais simples. Em outras palavras, a tarefa de prever um texto de alto risco, dadas as probabilidades agregadas obtidas de um grande modelo de linguagem, parece exigir um limite de decisão não linear.

Também notamos uma diferença substancial entre as biografias da Wikipedia e o corpus da Tab. Um olhar mais atento às probabilidades de log de token fatoradas pela decisão de mascaramento, como mostra a Figura 3, é particularmente instrutiva. Enquanto o PII abrange das biografias da Wikipedia mostra uma clara diferença entre as probabilidades de log dos tokens mascarados e não masculados, esse não é o caso do corpus da guia[8].

O classificador atinge seu desempenho preferrred relativamente rapidamente, depois de observar cerca de 1 % do tamanho complete do conjunto de treinamento em ambos os corpora. Experimentos de ablação também mostram que a característica mais importante para o classificador é o tipo PII, pois alguns tipos são mascarados por anotadores humanos com muito mais frequência do que outros.

Classificação de Span

A abordagem de classificação de span melhora o desempenho da classificação em comparação com o classificador treinado apenas nas probabilidades agregadas do LLM, em explicit para o referência de anonimato de texto.

Como o treinamento, esse classificador inclui o ajuste fino de um modelo de idioma grande, requer um pouco mais de dados de treinamento do que o classificador baseado exclusivamente nas probabilidades de LLM e tipos de PII. Observamos experimentalmente que o desempenho do classificador se estabiliza em cerca de 10% das instâncias de treinamento para ambos os conjuntos de dados. Com base em experimentos de ablação, também vemos que as saídas do modelo de linguagem ajustado desempenham um papel importante na previsão ultimate, juntamente com o tipo PII.

Perturbações

Apesar de seus benefícios teóricos (como a possibilidade de avaliar diretamente até que ponto uma extensão de PII contribui para prever um identificador pessoal direto), o método baseado em perturbação tem um desempenho ruim e não parece melhorar a linha de base da regra da maioria. De fato, o mecanismo de perturbação, em combinação com a função de custo empregada para corrigir o limiar das probabilidades de log, leva ao mascarar a grande maioria dos períodos de texto.

Marcação de sequência

No geral, essa abordagem parece fornecer o melhor equilíbrio entre as pontuações de precisão e recall, o que é esperado de um grande modelo de idioma multado em dados rotulados manualmente. Em contraste com o método de classificação do span, que considera apenas os tokens dentro do próprio PII Span, a abordagem de marcação de sequência pode levar em consideração o contexto circundante de cada extensão.

Deve -se observar que os resultados nas Tabelas 5 e 6 são obtidos com um limite padrão de 0,5 na probabilidade de mascaramento. É claro que esse limiar pode ser ajustado para aumentar a importância relativa das pontuações de recall, como geralmente é feito na higienização de texto para aumentar o custo de falsos negativos.

O método baseado em correspondências parciais, que considera uma extensão de PII como arriscada se pelo menos um token constituído for marcado como arriscado, fornece os melhores resultados. Também observamos que os resultados nas biografias da Wikipedia são inferiores aos obtidos para a TAB. É provável que isso seja devido ao menor número de biografias disponíveis para treinamento (453 textos curtos) em comparação com os 1014 documentos no conjunto de treinamento da TAB.

Pesquisa na internet

A Tabela 5 mostra uma clara diferença entre o uso da interseção dos URLs e o uso do número estimado de acertos, com o primeiro mostrando uma pontuação de recall muito baixa, enquanto o último mostra um desempenho mais equilibrado entre precisão e recall. A interseção dos URLs, no entanto, fornece melhor explicação do que o número de acertos, pois é possível apontar o usuário para os URLs reais que contribuem para a re-identificação.

Enquanto o uso da interseção dos URLs é dificultado pela limitação do número de páginas, as probabilities de um cruzamento significativo entre alvo e entidades em um texto diminuem a profundidade na cauda dos resultados da Internet que desenhamos. Uma solução possível é tentar analisar o texto encontrado nos URLs para avaliar se o indivíduo -alvo é mencionado ou não.

Por outro lado, o número de acertos até um limite é uma melhor aproximação de entidades de risco, apesar da falta de confiabilidade do número de acertos, conforme fornecido pela API. Observe, porém, as restrições que já mencionamos na Seção 5.5 que devem afetar o desempenho. Embora a Internet possa ser vista como uma aproximação muito útil e detalhada do conhecimento potencial de fundo que um invasor poderia ter e usar para fins de re-identificação, os detalhes técnicos de utilizar isso dificultam a explicação claramente a razão por trás do desempenho.

Resumo

Como se pode esperar, os indicadores de risco de privacidade treinados em dados rotulados manualmente, em explicit a rotulagem de sequência, fornecem o melhor desempenho ao comparar os sãs identificados como alto risco com anotações especializadas. Os dados de texto anotados com decisões de mascaramento são, no entanto, escassos para inexistentes para muitos domínios de higienização de texto.

Quando se trata de utilidade de dados, também observamos que a pontuação de precisão ponderada pelo conteúdo da informação (Pw) é maior que a pontuação common de precisão para todos os indicadores de risco de privacidade. Como discutido em Pilan et al. (2022), essa pontuação ponderada é mais informativa do que a pontuação básica de precisão, pois leva em consideração a informatividade de cada token. Como conseqüência, uma pontuação de precisão com peso mais alto significa que o excesso de o excesso tende a ocorrer em tokens menos informativos.

6.4 Combinação de indicadores de risco

Por fim, também avaliamos o desempenho dos indicadores de risco de privacidade em combinação. Mais especificamente, consideramos um período de PII detectado manualmente como de alto risco se tiver sido marcado como tal por pelo menos um, dois ou três indicadores de risco.[9] O desempenho resultante é mostrado na Tabela 7.

Embora a combinação de indicadores de risco de privacidade com ≥ 3 sinais positivos leve ao exagero, ele detecta todos os identificadores diretos e praticamente todos os quase-identificadores, mantendo uma precisão mais alta do que a linha de base da regra da maioria. Esse alto recall é importante na higienização do texto, pois o custo de ignorar uma extensão de PII de alto risco é muito maior que o custo de um falso positivo. Embora o excesso de o exagero reduza ligeiramente a utilidade dos dados (tornando o texto menos legível ou despojado de algum conteúdo útil), a presença de um falso negativo implica que permanece possível re-identificar o (s) indivíduo (s) em questão e que sua privacidade não é, portanto, totalmente garantida.

[8] Pelo menos ao agregar todos os tipos de PII. Se o fizermos, no entanto, fatormos essas probabilidades de log por tipo PII, notamos uma diferença nas probabilidades de log para vários tipos de PII.