掃一掃清華對(duì)話式人工智能課題組六篇長(zhǎng)文被ACL 2018、
來(lái)源：未知 時(shí)間：2018-32-26 瀏覽次數(shù)：307次
ACL 2018, the 56th Annual Meeting of the Association for Computational Linguistics 將于 2018 年 7 月 15 日至 20 日在澳大利亞墨爾本舉行。ACL 是自然語(yǔ)言處理領(lǐng)域的頂級(jí)國(guó)際會(huì)議，被評(píng)定為 CCF-A 類會(huì)議，起于 1963 年每年舉辦一次。本屆會(huì)議共收到 1621 篇投稿（長(zhǎng)文 1045 篇，短文 576 篇），錄取文章約占投稿總量的 20%。
IJCAI-ECAI 2018, the 27th International Joint Conference on Artificial Intelligence and the 23rd European Conference on Artificial Intelligence 將于 2018 年 7 月 13 日至 19 日在瑞典斯德哥爾摩舉行，由 IJCAI、EurAI 和 SAIS 聯(lián)合發(fā)起舉辦。IJCAI 是人工智能領(lǐng)域的頂級(jí)國(guó)際會(huì)議，被評(píng)定為 CCF-A 類會(huì)議。IJCAI 起于 1969 年，每?jī)赡昱e辦一次，隨著投稿量的增加，2016 年起每年舉辦一次。本屆會(huì)議共收到 3470 篇長(zhǎng)文投稿，其中 710 篇被錄取。
清華大學(xué)計(jì)算機(jī)系對(duì)話式人工智能課題組多篇論文被 ACL 2018 和 IJCAI-ECAI 2018 會(huì)議錄用，涉及對(duì)話系統(tǒng)、語(yǔ)言生成、強(qiáng)化學(xué)習(xí)等領(lǐng)域。下面是論文列表及介紹：
• Generating Informative Responses with Controlled Sentence Function
作者：柯沛、關(guān)健、黃民烈、朱小燕
會(huì)議：ACL 2018 長(zhǎng)文
本文著眼于閑聊對(duì)話生成領(lǐng)域，研究如何控制生成回復(fù)的全局功能特征，并解決功能控制和內(nèi)容豐富性的兼容問(wèn)題。句子功能（Sentence Function）是一種重要的語(yǔ)言學(xué)特征，按句子功能可將語(yǔ)言劃分為疑問(wèn)句、陳述句、祈使句等多個(gè)類別，該特征在對(duì)話中能夠體現(xiàn)說(shuō)話者的目的。本文引入條件變分自編碼器，利用隱變量來(lái)建模和控制生成回復(fù)的功能特征；同時(shí)，我們?cè)谀Ｐ椭性O(shè)計(jì)了類別控制器，解碼回復(fù)中的每個(gè)詞之前會(huì)先根據(jù)隱變量和當(dāng)前解碼狀態(tài)預(yù)測(cè)待生成詞所屬的類別（即功能控制詞、話題詞或普通詞），再根據(jù)類別信息解碼出相應(yīng)的詞，使得功能特征和內(nèi)容信息能夠在生成的回復(fù)中有機(jī)結(jié)合。自動(dòng)評(píng)測(cè)和人工評(píng)測(cè)的結(jié)果表明，我們的模型生成的回復(fù)不僅在結(jié)構(gòu)上符合設(shè)定的功能類別，而且在內(nèi)容上具備豐富的信息量。
• Learning to Ask Questions in Open-domain Conversational Systems with Typed Decoders
作者：王延森，劉辰屹，黃民烈，聶禮強(qiáng)
會(huì)議：ACL 2018 長(zhǎng)文
（本篇文章與山東大學(xué)聶老師合作）
本文研究如何賦予開放領(lǐng)域?qū)υ捪到y(tǒng)提問(wèn)的能力，從而增強(qiáng)閑聊系統(tǒng)的交互性與持續(xù)性。如何提一個(gè)好問(wèn)題，也較大程度體現(xiàn)了機(jī)器理解的能力。我們發(fā)現(xiàn)，一個(gè)好的提問(wèn)由三種類型的詞構(gòu)成：疑問(wèn)詞、主題詞與普通詞，為此我們提出了"類型化解碼器"（Soft/Hard Typed Decoder）。在每個(gè)解碼的位置上，解碼器會(huì)先決定生成詞的類型分布，并利用概率偏置提高生成對(duì)應(yīng)類型詞的可能性。對(duì)于 Soft 類型化解碼器而言，每個(gè)解碼位置上詞的類別分布與詞的生成概率分布進(jìn)行混合；對(duì)于 Hard 類型化解碼器，我們采用了 Gumbel-Softmax 的概率操作技巧（近似 argmax 功能），使得解碼器具有選擇動(dòng)態(tài)詞表的能力。自動(dòng)評(píng)測(cè)和人工評(píng)測(cè)的結(jié)果說(shuō)明了我們的模型所生成的提問(wèn)相對(duì)基線模型具有明顯的優(yōu)勢(shì)，更容易驅(qū)動(dòng)對(duì)話繼續(xù)下去。
• Commonsense Knowledge Aware Conversation Generation with Graph Attention
作者：周昊，楊天吉，黃民烈，趙海舟，許靜芳，朱小燕
會(huì)議：IJCAI-ECAI 2018 長(zhǎng)文
（本篇文章與搜狗公司許靜芳團(tuán)隊(duì)合作）
本文研究如何通過(guò)常識(shí)知識(shí)的引入提升對(duì)話模型在開放領(lǐng)域?qū)υ捝扇蝿?wù)上的語(yǔ)言理解和生成能力。給定用戶輸入的語(yǔ)句，對(duì)話模型首先從常識(shí)知識(shí)庫(kù)中檢索出相關(guān)的知識(shí)圖譜，然后使用一種靜態(tài)的圖注意力機(jī)制，將這些知識(shí)圖譜編碼成向量輸入到編碼器中，通過(guò)豐富語(yǔ)義知識(shí)從而提升模型對(duì)語(yǔ)言的理解能力。在語(yǔ)言生成的過(guò)程中，模型通過(guò)動(dòng)態(tài)的圖注意力機(jī)制根據(jù)當(dāng)前解碼器狀態(tài)注意到合適的知識(shí)圖譜以及其內(nèi)的知識(shí)三元組，之后選擇合適的常識(shí)知識(shí)或普通單詞去生成，從而加強(qiáng)了模型的語(yǔ)言生成的信息量和知識(shí)方面的連貫性。自動(dòng)評(píng)測(cè)和人工評(píng)測(cè)結(jié)果說(shuō)明了我們提出的引入常識(shí)知識(shí)的對(duì)話模型可以生成語(yǔ)義合適且富有信息量的回復(fù)。
• A Weakly Supervised Method for Topic Segmentation and Labeling in Goal-oriented Dialogues via Reinforcement Learning
作者：高信龍一，黃民烈，陳海青，趙中州，李鳳麟，朱小燕，聶禮強(qiáng)
會(huì)議：IJCAI-ECAI 2018 長(zhǎng)文
（本篇文章與阿里巴巴陳海青團(tuán)隊(duì)合作）
本文研究話題結(jié)構(gòu)分析在理解任務(wù)導(dǎo)向性對(duì)話上的作用，我們基于弱監(jiān)督學(xué)習(xí)對(duì)大規(guī)模無(wú)標(biāo)簽的對(duì)話語(yǔ)料進(jìn)行話題分割與標(biāo)注，采用深度強(qiáng)化學(xué)習(xí)方法來(lái)建模對(duì)聊天對(duì)話中意圖識(shí)別的未來(lái)獎(jiǎng)勵(lì)。模型由一個(gè)基于層次化 LSTM 的表示學(xué)習(xí)網(wǎng)絡(luò)，和一個(gè)在對(duì)話主題的局部連續(xù)性與全局結(jié)構(gòu)性的獎(jiǎng)勵(lì)序列上實(shí)現(xiàn)最優(yōu)的強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)兩部分組成。首先用簡(jiǎn)單的先驗(yàn)知識(shí)自動(dòng)對(duì)數(shù)據(jù)進(jìn)行粗標(biāo)注，然后通過(guò)兩個(gè)網(wǎng)絡(luò)的迭代訓(xùn)練來(lái)進(jìn)一步提煉數(shù)據(jù)。大量實(shí)驗(yàn)的評(píng)價(jià)與分析證明了我們新提出的訓(xùn)練模式在該任務(wù)上有顯著的提升。
• Assigning Personality to a Chatting Machine for Coherent Conversation Generation
作者：錢橋 黃民烈 趙海舟 許靜芳 朱小燕
會(huì)議：IJCAI-ECAI 2018 長(zhǎng)文
（本篇文章與搜狗公司許靜芳團(tuán)隊(duì)合作）
為聊天機(jī)器人賦予固定的人物設(shè)定是對(duì)話領(lǐng)域的重大挑戰(zhàn)之一，本文著眼于聊天機(jī)器人在提及自身屬性時(shí)是否可以給出與人設(shè)相符的答案，同時(shí)保證了前后回答的一致性。我們提出了一種方法，使用從社交媒體上抓取的通用對(duì)話數(shù)據(jù)訓(xùn)練生成模型，使用有監(jiān)督的屬性檢測(cè)器 (Profile Detector) 判斷用戶的問(wèn)題是否提及聊天機(jī)器人的屬性設(shè)定，以及具體哪一條預(yù)設(shè)的屬性值。隨后使用訓(xùn)練好的雙向解碼器 (Bidirectional Decoder) 生成包含屬性值的回復(fù)。此外，為了消除訓(xùn)練數(shù)據(jù)與預(yù)設(shè)屬性值不一致的問(wèn)題，我們使用無(wú)監(jiān)督的屬性值定位器 (Position Detector) 來(lái)幫助模型更好地訓(xùn)練。我們同時(shí)使用了自動(dòng)評(píng)價(jià)和人工評(píng)價(jià)，實(shí)驗(yàn)結(jié)果表明我們生成的回復(fù)通順、邏輯正確并且語(yǔ)言多樣化。
• Densely Connected CNN with Multi-scale Feature Attention for Text Classification
作者：王詩(shī)瑤 黃民烈 鄧志東
會(huì)議：IJCAI-ECAI 2018 長(zhǎng)文
（注：王詩(shī)瑤是鄧志東教授的博士生，黃民烈老師合作指導(dǎo)該論文工作）
用于文本分類的卷積神經(jīng)網(wǎng)絡(luò)大多數(shù)采用固定窗口大小的卷積核，因此無(wú)法靈活地學(xué)習(xí)可變 n-gram 特征。在本文中，我們提出了一種密集連接的卷積神經(jīng)網(wǎng)絡(luò)，其包含基于多尺度特征的注意力模型。密集的連接建立了底層特征和高層特征之間的跨層連接，從而產(chǎn)生豐富的多尺度特征，即可變的 n-gram 特征。此外，我們提出了多尺度特征的注意力模型，使其可以自適應(yīng)地選擇合適的特征尺度用于文本分類。實(shí)驗(yàn)表明，我們的模型在六個(gè)公開數(shù)據(jù)集上達(dá)到了超過(guò)基線的效果。注意力模型的可視化進(jìn)一步揭示了該模型具有為文本分類選擇合適的 n-gram 特征的能力。