摘要近年来,“短镜头学习”引起了广泛的关注,但是关于多标签问题的研究相对较少。在本文中,我们以用户意图检测任务为切入点,研究小样本多标签分类问题。
用于多标签分类的SOTA方法通常首先估算标签样本相关分数,然后使用阈值选择多个相关标签。为了仅在少量采样的情况下确定合适的阈值,我们首先在具有丰富数据的多个字段中学习常规阈值设置经验,然后使用基于非参数学习的校准(Calibration)来适应门槛到“少拍”的境界。
为了更好地计算标签样本相关分数,我们将标签名称作为锚点嵌入到嵌入空间中,以优化不同类别的表示,并使它们在表示空间中更好地彼此分离。在两个数据集上进行的实验表明,在1次和5次实验中,提出的模型明显优于最强的基线模型。
1.简介1.1背景1:用户意图识别用户意图识别是基于任务的对话理解的关键组成部分。它的任务是识别用户输入的话语属于哪个领域的意图[1]。
当前的用户意图识别系统面临两个关键挑战:频繁变化的字段和任务要求经常导致数据不足。用户通常在一轮对话中包含多个意图[2,3]图1.示例:意图理解同时,各种各样的方面带来了数据不足和多标签的挑战。
1.2背景2:多标签分类与分类小样本学习少量学习旨在通过少量样本(例如人类)来完成学习。近年来,它引起了很多关注。
[4,5]。但是,关于多标签问题的小样本学习的研究相对较少。
1.3本文的研究内容本文以用户意图检测任务为切入点,研究小样本多标签分类问题,从两个角度提出MetaCalibratedThreshold(MCT)和AnchoredLabelReps(ALR),为小样本系统地提供解决方案。样本多标签学习程序。
2.问题定义2.1多标签意图识别如图2所示。目前,最新的多标签意图识别系统经常使用基于阈值的方法[3,6,7],它们的工作流程可以大致分为两个步骤:计算样品标签类别相关评分,然后使用从数据中获悉的预设值或阈值来选择标签。
2.2小样本多标签用户意图识别和对给定支持集的观察,并带有少量示例(SupportSet)以预测失败。请参见样本的意图标签(QueryInstance)。
图2.小样本多标签意图识别框架概述3.方法图3.我们提出的小样本多标签识别模型3.1阈值计算(1)挑战:小样本场景中的多标签分类任务主要挑战如下:因为必须从数据中学习阈值,所以现有方法仅适用于足够数据的情况。在小样本情况下,该模型很难从多个样本中概括阈值。
b。另外,阈值不能在不同字段之间直接传递,并且难以使用先验知识。
(2)解决方案:为了解决上述挑战,我们提出了MetaCalibratedThreshold(MCT),可以将其分为两个步骤(如图3左侧所示):首先,了解丰富数据字段中的一般阈值处理经验b。然后,在Few-shot字段中,使用KernelRegression使用该字段中的知识来校正阈值(校准)。
这样,当我们估计阈值时,我们不仅可以转移先验知识,而且可以使用特定领域的知识:3.2样本标签类别相关性计算(1)挑战:如图4所示,经典的小样本方法使用计算样本标签类别相关性的相似性,这在多标签方案中将失败。图4.基于经典相似度的小样本学习模型:图3中显示了原型网络。
在示例中,时间和位置的两个标签与supportexample相同,这导致这两个类别的相同不可分割的表示从样品中分离出来,因此无法分离。根据相似度执行样本类别标签相关性计算。
(2)解决方案:为了解决上述挑战,我们提出了AnchoredLabelReps(ALR)。具体来说,如图3右侧所示,我们。
将标签名称用作。
