Les dieux sont silencieux.-ParticuliersCSDNTable des matières du blog

Adresse vidéo enregistrée：AIS 2022丨ACL-IJCAI-SIGIRLe rapport de la Conférence sera diffusé.
Page d'accueil de l'activité sur le site officiel de Zhiyuan,Présentation avec ordre du jour détaillé：ACL-IJCAI-SIGIRPrésentation des documents de la Conférence de haut niveau（AIS 2022）

Objet du présent document5Mois14Section de l'analyse et de l'interprétabilité de la journée,C'est - à - dire:Session 2：Analysis and Interpretability（Analyse et interprétabilité）.Le contenu principal est la capture d'écranslides,Et quelques explications.Plus que je ne l'ai écrit.cs224wLes notes de Li Hongyi seront beaucoup plus courtes.,Je n'ai pas d'autre explication pour ce qui est explicite dans le diagramme..

1. À propos de la construction de l'ensemble de données biomédicales chinoises

Ali Yun Chen mosha

Cette tâche ressemble en fait à la tâche de désambiguation de l'entité

QALiens：
Médecinebenchmark Différences de construction par rapport aux autres domaines ： Il est difficile d'obtenir du matériel médical , Données anonymes 、 Après examen par le Comité , Caractéristiques du domaine médical chinois （domain knowledge、Méthode de dimensionnement）

2. Construire une défense contre les attaques au niveau de la fonction de perte

Liu Qin, Université de Fudan

Text Defence ： Une approche défensive ciblée

Méthodes de défense communes （ Méthodes d'entraînement à la confrontation ）： Dans la direction ascendante du gradient , Trouver les échantillons qui auront le plus d'impact sur le modèle
Ça prend beaucoup de temps （K Cycle secondaire ）

Intraining lossApproche0 Il n'a pas besoin d'être abaissé. , Pour éviter un ajustement excessif 、 Obtenir une meilleure capacité de généralisation

flooding Une alternance de gradient ascendant et descendant est effectuée lorsque la fonction de perte approche du seuil. , Rendre les paramètres plus lisses , Obtenir la robustesse

Inconvénients：C'est exact.bSensible

Capture du point de temps ajusté

Q：floodingInbertLes expériences faites sur, Est - ce que ça marche pour d'autres ？A：InrobertaJ'ai fait des expériences.,Ça marche.. Aucune expérience n'a été réalisée sur des modèles non pré - formés .

3. Réseau de loterie robuste

Zheng Rui, Université de Fudan

Explorer comment la structure du modèle de pré - formation lui - même peut influer sur la robustesse

A un meilleur effet sur toutes sortes d'attaques
Les modèles précédents du point de vue de l'optimisation , Du point de vue du modèle

Il est maintenant constaté que la compression du modèle réduit la robustesse , C'est le but de ce travail. , Trouver un réseau de loterie plus robuste

Itération、Copier、Couper→Masquem
La robustesse dépend davantage du poids du modèle que de la structure

Q： La réduction du réseau traditionnel de loterie peut être très importante , Ce travail n'a que 40%À l'intérieur.A： La taille peut être très large ,Mais pour souligner, Dans cet article, seule la clairance la plus robuste est choisie comme résultat principal de l'expérience. （ Ce n'est peut - être pas le plus cleanDe）.

4. Comment détecter des échantillons antagonistes d'expression non naturelle

Wang Jiayi, Université Jiaotong de Shanghai


Utilisé dans le cadre de la défense textuelle
transformation set： Reclassement après transformation , Utiliser la moyenne comme sortie （Transformation aléatoire+Lisse.Cette approche estCV Le domaine a obtenu de bons résultats ）（ Intuitivement, je pense que ça pourrait aussi être utile grammatical error correaction Dans ce genre de mission ）

Q： Y a - t - il un moyen de produire des échantillons de confrontation plus naturels? ？A： C'est une façon plus heuristique d'éliminer les indicateurs non naturels. （Similitude sémantique、 Nombre d'erreurs de syntaxe 、Fluidité、Complexité）, Il n'y a pas de moyen direct de générer des contre - échantillons plus naturels .

4. En ce qui concerne l'interprétabilité de l'appariement des affaires juridiques

Renmin University of China

Motivation de la recherche

En langage naturel.
Seuls certains éléments d'un document long sont liés aux résultats correspondants.
Connaissance du domaine, Les étiquettes coûtent cher

La méthode proposée

Alignement des éléments

Le processus d'extraction des éléments est modélisé comme un transport optimal vers l'avant
Similitude sémantique et similitude des exigences ： Guide de transport
Phase de formation： Libre circulation inversée

Analyse expérimentale

Résumé

5. Amélioration de la robustesse de la recherche d'information

Chuang Sheng Yao, Université du Queensland

Le cerveau humain peut corriger automatiquement l'orthographe

Mais pour le modèle de pré - Formation ,Cestypo Peut causer d'énormes erreurs dans la recherche de texte

wordpieceOui.typo Ce n'est pas très amical en soi

（ Ce n'est pas aussi précis qu'un coup de pinceau pour le convertir en chinois. ？）


Q：Sitypos La proportion est trop élevée , Y a - t - il un impact négatif sur la formation? ？A： Pas d'expérience .Utilisateurs générauxtypos Et moins en soi .Plus untypo A une grande influence sur la recherche textuelle originale ,Sitypos Ça aurait dû être plus .La méthodologie de cet article,Untypo Ça n'affecte qu'un seul tokenIntégration de, La méthode originale typo Peut affecter plusieurs token, L'impact sera encore plus grand .

6. Projet de classification des émotions multimodales

Wang jieming, Université de technologie de Nanjing
Analyse multimodale des attributs et des émotions
Entrée：Photos+Tweet+Entité

Inconvénients actuels du modèle ： La relation entre l'entité et l'image n'est pas prise en compte , La plupart du temps, considérez le texte
Pour les entités qui n'apparaissent pas dans l'image , Nous ne voulons pas que les images affectent leur analyse émotionnelle
Pour les entités apparaissant sur le graphique , Nous voulons le positionner , Aide à analyser ses émotions

La situation dans laquelle l'entité apparaît sur l'image est fortement liée à ses émotions

Utiliser l'image comme contexte ,Ettarget Effectuer des interactions inter modales （Ii) Classification）

EtregionInteraction

Q： L'épée multimodale à double tranchant , Le texte peut ne pas correspondre , Cette situation a - t - elle un effet négatif sur le modèle? ？A：Oui.,Mais il y en a aussi.“ Test satirique ”Mission. Pour la Mission d'analyse émotionnelle , L'objectif est d'éliminer les interférences émotionnelles non liées à l'image par un alignement grossier , Avec une certaine résistance aux interférences .

7. Few-Shot text-to-SQL

Université du Sud - est Guo xinnan

Correspondance individuelle des questions et des tableaux

Méthode 1： Mauvaise prise en charge des synonymes
Méthode 2：La méthode est simple,Sans tenir compte deSQL Prédiction des différents créneaux et différences dans les énoncés

Six sous - tâches ： Différentes fentes

Degré de confiance：Pseudo - label

column specificity： Encourager l'apprentissage des modèles colonnes communes /Caractéristiques

Q： Le langage non standard a - t - il de graves répercussions? ？A：Oui., Les méthodes se concentrent maintenant sur l'extraction des entités et des relations , Peut - être que les utilisateurs eux - mêmes ne sont pas aussi exigeants en termes de présentation .

8. NER Correction de l'étiquette de bruit pour

Pan de l'Université des sciences et de la technologie de Huazhong est en train de brûler

Background

Définir le chemin
Formation des filtres à bruit à l'aide de données propres marquées manuellement

Nos objectifs： Aucune ressource externe n'est introduite

Our algorithm

Châtaignes： Les modèles apprennent des modèles qui le rendent négatif , Mais l'étiquette du noeud lui - même l'a forcé à descendre le gradient
ambiguous Des échantillons de bruit ont été inclus dans les résultats des prévisions.
Des idées intuitives ：Oui.ambiguous Échantillons en tant qu'échantillons non étiquetés , Et puis le marquage
Sortie à l'arrêt précoce logits

Experimental results

Conclusions

Q： Quelle est la meilleure proportion d'étiquettes de bruit? ？A： Supposons qu'il n'y ait pas trop d'étiquettes de bruit （Structure、 Très asymétrique ）, La résolution de cette situation pourrait également être une orientation future de la recherche.

9. L'interprétabilité du Filtrage collaboratif basé sur le réseau graphique

Netease Fuxi Zhao Minghao


Problèmes de distribution des données：Distribution à longue queue, Le froid n'apprend pas bien
Le modèle lui - même a bias： Préférence pour les articles chauds
novelty： Rapport inverse du nombre d'occurrences des éléments recommandés dans l'ensemble d'entraînement
PRU： Corrélation entre le tri des articles et le nombre de fois