CASCADE: Contextual Sarcasm Detection in Online Discussion Forums翻译和解读

Table of Contents

摘要

The literature in automated sarcasm detection has mainly focused on lexical-, syntactic- and semantic-level analysis of text. However, a sarcastic sentence can be expressed with contextual presumptions, background and commonsense knowledge. In this paper, we propose a ContextuAl SarCasm DEtector (CASCADE), which adopts a hybrid approach of both content- and context-driven modeling for sarcasm detection in online social media discussions. For the latter, CASCADE aims at extracting contextual information from the discourse of a discussion thread. Also, since the sarcastic nature and form of expression can vary from person to person, CASCADE utilizes user embeddings that encode stylometric and personality features of users. When used along with content-based feature extractors such as convolutional neural networks, we see a significant boost in the classification performance on a large Reddit corpus. 自动讽刺检测的文献主要集中在文本的词法,句法和语义层面分析。 然而,讽刺性的句子可以用语境假设,背景和常识知识来表达。 在本文中,我们提出了一个ContextuAl SarCasm检测器(CASCADE),它采用内容和上下文驱动建模的混合方法,用于在线社交媒体讨论中的讽刺检测。 对于后者,CASCADE旨在从讨论主题的话语中提取上下文信息。 此外,由于讽刺性质和表达形式因人而异,CASCADE利用用户嵌入来编码用户的风格和个性特征。 当与基于内容的特征提取器(如卷积神经网络)一起使用时,我们看到大型Reddit语料库的分类性能得到显着提升。

Sarcasm is a linguistic tool that uses irony to express contempt. Its figurative nature poses a great challenge for affective systems performing sentiment analysis (Cambria et al., 2017). Previous research in automated sarcasm detection has primarily focused on lexical and pragmatic cues found in sentences (Kreuz and Caucci, 2007). In the literature, interjections, punctuations, and sentimental shifts have been considered as major indicators of sarcasm (Joshi et al., 2017). When such lexical cues are present in sentences, sarcasm detection can achieve high accuracy. However, sarcasm is also expressed implicitly, i.e., without the presence of such lexical cues. This use of sarcasm also relies on context, which involves the presumption of commonsense and background knowledge of an event. When it comes to detecting sarcasm in a discussion forum, it may not only be required to understand the context of previous comments but also the necessary background knowledge about the topic of discussion. The usage of slangs and informal language also diminishes the reliance on lexical cues (Satapathy et al., 2017). This particular type of sarcasm is tough to detect (Poria et al., 2016). 讽刺是一种语言工具,用讽刺来表达蔑视。它的比喻性质对进行情绪分析的情感系统提出了巨大的挑战(Cambria等,2017)。以前关于自动讽刺检测的研究主要集中在句子中的词汇和语用提示(Kreuz和Caucci,2007)。在文献中,插入,标点和感情变化被认为是讽刺的主要指标(Joshi等,2017)。当句子中存在这样的词汇提示时,讽刺检测可以实现高精度。然而,也暗示地表达了讽刺,即没有这种词汇提示。这种讽刺的使用也依赖于语境,其涉及对事件的常识和背景知识的推定。在讨论论坛中检测讽刺时,可能不仅需要了解先前评论的背景,还需要了解有关讨论主题的必要背景知识。俚语和非正式语言的使用也减少了对词汇线索的依赖(Satapathy等,2017)。这种特殊类型的讽刺难以察觉(Poria等,2016)。

Contextual dependencies for sarcasm can take many forms. As an example, a sarcastic post from Reddit1, “I’m sure Hillary would’ve done that, lmao.” requires background knowledge about the event, i.e., Hillary Clinton’s action at the time the post was made. Similarly, sarcastic posts like “But atheism, yeah that’s a religion!” requires the knowledge that topics like atheism often contain argumentative discussions and, hence, they are more prone towards sarcasm. 讽刺的上下文依赖可以采取多种形式。 作为一个例子,来自Reddit1的讽刺帖子,“我确信希拉里会做到这一点,lmao。”需要有关事件的背景知识,即希拉里克林顿在帖子制作时的行动。 同样,讽刺性的帖子如“但无神论,是的*那是一种宗教!”需要知道像无神论这样的话题经常包含争论性讨论,因此,他们更倾向于讽刺。

这项工作的主要目的是在在线论坛中进行讽刺检测。特别是,我们提出了一个名为CASCADE的混合网络,它利用了讽刺检测所需的内容和上下文。它首先以两种方式处理上下文信息。首先,它执行用户分析以创建捕获讽刺的指示性行为特征的用户嵌入。最近的研究结果表明,对用户及其偏好的这种建模对于给定的任务非常有效(Amir等,2016)。它利用用户的历史帖子来模拟他们的写作风格(样式)和个性指标,然后使用多视图融合方法将其融合到综合用户嵌入中,称为典型相关分析(CCA)(Hotelling,1936)。其次,它从讨论论坛中的评论话语中提取背景信息。这是通过属于同一论坛的这些合并评论的文档建模来完成的。我们假设这些话语特征将提供重要的语境信息,背景线索以及检测讽刺所需的主题信息。

After the contextual modeling phase, CASCADE is provided with a comment for sarcasm detection. It performs content-modeling using a convolutional neural network (CNN) to extract its syntactic features. This CNN representation is then concatenated with the relevant user embedding and discourse features to get the final representation which is used for classification. The overall contribution of this work can be summarized as: 在上下文建模阶段之后,CASCADE会提供一个用于讽刺检测的注释。 它使用卷积神经网络(CNN)执行内容建模以提取其语法特征。 然后将该CNN表示与相关用户嵌入和话语特征连接以获得用于分类的最终表示。 这项工作的总体贡献可归纳为:

  • 我们提出了一种新颖的混合讽刺检测器CASCADE,它对内容和上下文信息进行建模。
  • 我们模拟用户的风格和个性细节以及讨论论坛的话语特征,以学习信息性的上下文表示。 在大型Reddit语料库上进行的实验表明,与最先进的自动化讽刺探测器相比,性能有了显着提高。

相关工作

自动讽刺检测是一个相对较新的研究领域。 以前的作品可以分为两大类:基于内容和上下文的讽刺检测模型。

基于内容的模型

这些网络将讽刺检测问题建模为标准分类任务,并试图找到词汇和实用指标来识别讽刺。许多作品采取了这条道路,并提出了创新的方法来挖掘讽刺的有趣线索。泰珀曼等人。 (2006)使用韵律和光谱线索调查口语对话系统中的讽刺检测。 Carvalho等。 (2009)使用语言特征,如积极谓词,插入和手势线索,如表情符号,引号等.Davidov等。 (2010),Tsur等。 (2010)使用句法模式来构造分类器。 Gonza lezIba nez等。 (2011)也研究表情符号的使用,主要是在推文中。 Riloff等。 (2013)断言讽刺与积极情绪词和消极情境形成鲜明对比。乔希等人。 (2015)使用包括词汇,语用,隐式和显式上下文不一致的多个特征。在明确的案例中,它们包括相关特征,以检测句子中受挫的情感期望。对于隐含的不协调,他们概括了Riloff等人。 (2013)通过识别在两个极性中包含对比度的动词 - 名词短语。

基于上下文的模型

近年来,语境讽刺的使用有所增加,尤其是在线平台。在微博,论坛和社交媒体中发现的文本受到语法不准确性的困扰,并且包含高度时间和语境的信息。在这种情况下,挖掘语言信息变得相对低效,并且需要额外的线索(Carvalho等,2009)。华莱士等人。 (2014)通过展示传统分类器在人类需要额外背景的情况下如何失败来证明这种需求。它们还表明了与文本相关的发言者和专题信息对于收集这种背景的重要性。 Poria等。 (2016)通过输入文本的情感,情感和个性表示来使用附加信息。以前的作品主要使用用户的历史帖子来理解讽刺倾向(Rajadesingan等,2015; Zhang等,2016)。 Khattri等人。 (2015)尝试发现用户对其历史实体的情绪,以找到对比鲜明的证据。华莱士等人。 (2015)利用论坛中使用的情感和名词短语来收集该论坛的典型背景。这种基于论坛的建模模拟用户社区。我们的工作遵循类似的动机,因为我们探索用户剖析提供的上下文以及讨论论坛(subreddits2)中评论话语中的主题知识。

实验结果

数据集

我们在大型自注释讽刺语料库sarc上进行实验(Khodak等人,2017)。这个数据集包含了超过一百万个在Reddit上发表的讽刺/非讽刺性声明的例子。Reddit由特定主题的讨论论坛(也称为Subreddits)组成,每个论坛的标题都是一篇文章。在每个论坛中,用户通过评论标题的帖子或其他人的评论进行交流,从而形成一个树形的对话结构。这种结构可以分解成一种线性格式,从而通过保持拓扑约束不变来创建注释的论述。每个注释都附有作者详细信息和父注释(如果有的话),这些注释随后用于我们的上下文处理。值得注意的是,SARC中几乎所有的评论都是由一句话组成的。我们在实验中考虑了SARC数据集的三种变体。

主要的平衡

这是主要的数据集,其中包含了讽刺和非讽刺评论的平衡分布。数据集包含来自1246058个用户(培训中118940个用户,测试集中56118个用户)的评论,分布在6534个论坛(培训中3868个用户,测试集中2666个用户)。

主要的不平衡

为了模拟现实场景,讽刺性评论通常比非讽刺性评论少,我们使用主数据集的不平衡版本。具体地说,我们在两个培训/测试集中的讽刺和非讽刺评论之间保持20∶80的比率(大约)。

pol

为了进一步测试我们的用户嵌入的有效性,我们在主要的一个子集上执行实验,包括与政治主题相关的论坛。表1提供了所提到的所有数据集变量的注释分布。