近日，谷歌宣布開(kāi)放兩個(gè)新的自然語(yǔ)言對(duì)話數(shù)據(jù)集，分別是 Coached Conversational Preference Elicitation(CCPE)和 Taskmaster-1。這兩個(gè)數(shù)據(jù)集旨在對(duì)更接近人類對(duì)話的數(shù)據(jù)進(jìn)行更詳細(xì)的標(biāo)注，并提供到自然語(yǔ)言處理相關(guān)研究者更符合生活實(shí)際的數(shù)據(jù)內(nèi)容。谷歌發(fā)布了相關(guān)內(nèi)容詳細(xì)介紹該開(kāi)放數(shù)據(jù)集，雷鋒網(wǎng) AI 開(kāi)發(fā)者將其整理及編譯如下。
數(shù)據(jù)集背景
目前，智能助理能夠完成多類任務(wù)并返回多個(gè)主題的個(gè)性化結(jié)果，例如：電影列表、餐廳預(yù)訂和旅行計(jì)劃等。然而，盡管近年來(lái)，我們?cè)谶@方面取得了巨大進(jìn)步，但智能助理依舊未能達(dá)到人類理解的水平。
產(chǎn)生這樣的結(jié)果，一部分是由于智能助理缺乏高質(zhì)量的訓(xùn)練數(shù)據(jù);而這些數(shù)據(jù)恰好能夠準(zhǔn)確地反映人們向智能助理表達(dá)的需求和偏好方式。
正是因?yàn)檫@些系統(tǒng)的局限性會(huì)影響我們表達(dá)的「我們希望得到理解」的內(nèi)容，因此我們常常選擇調(diào)整自己的言辭，而反過(guò)來(lái)去適應(yīng)智能助理所能理解的內(nèi)容。換言之，現(xiàn)在的智能助理對(duì)話理解能力，遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到人類所需的對(duì)話復(fù)雜程度。
更自然的對(duì)話框數(shù)據(jù)集
為了解決這個(gè)問(wèn)題，我們發(fā)布了 Coached Conversational Preference Elicitation(CCPE)和 Taskmaster-1 對(duì)話框數(shù)據(jù)集。兩個(gè)集合都使用了 Wizard-of-Oz 平臺(tái)(https://en.wikipedia.org/wiki/Wizard_of_Oz_experiment)，該平臺(tái)能夠?qū)蓚€(gè)進(jìn)行口語(yǔ)對(duì)話的人匹配，就像那些想要擁有真正有效的智能助理的人一樣。
對(duì)于這兩個(gè)數(shù)據(jù)集，Wizard-of-Oz 平臺(tái)內(nèi)部的設(shè)計(jì)旨在獨(dú)特地模仿現(xiàn)在基于語(yǔ)音的智能助理，在自動(dòng)化系統(tǒng)的環(huán)境中保留口語(yǔ)對(duì)話的特征。
由于「人類助理」可以準(zhǔn)確地理解用戶所要求的內(nèi)容，因此我們能夠捕捉用戶如何將自己真實(shí)地表達(dá)給「完美」的智能助理，以便我們可以繼續(xù)改進(jìn)這樣的系統(tǒng)。
CCPE 數(shù)據(jù)集
CCPE 全稱為 Coached Conversational Preference Elicitation，它是我們提出的一種在對(duì)話中獲得用戶偏好的新方法，即它允許收集自然但結(jié)構(gòu)化的會(huì)話偏好。通過(guò)研究一個(gè)領(lǐng)域的對(duì)話，我們對(duì)人們?nèi)绾蚊枋鲭娪捌眠M(jìn)行了簡(jiǎn)要的定量分析;并且向社區(qū)發(fā)布了 CCPE-M 數(shù)據(jù)集，該數(shù)據(jù)集中有超過(guò) 500 個(gè)電影偏好對(duì)話，表達(dá)了 10,000 多個(gè)偏好。
具體而言，它由 502 個(gè)對(duì)話框組成的數(shù)據(jù)集，在用戶和助理之間用自然語(yǔ)言討論電影首選項(xiàng)時(shí)有 12,000 個(gè)帶注釋的發(fā)音。它通過(guò)兩個(gè)付費(fèi)人群工作者之間的對(duì)話收集，其中一個(gè)工作人員扮演「助手」的角色，而另一個(gè)工作人員扮演「用戶」的角色。「助手」按照 CCPE 方法引出關(guān)于電影的「用戶」偏好。
助理提出的問(wèn)題旨在盡量減少「用戶」用來(lái)盡可能多地傳達(dá)他或她的偏好的術(shù)語(yǔ)中的偏見(jiàn)，并以自然語(yǔ)言獲得這些偏好。每個(gè)對(duì)話框都使用實(shí)體提及、關(guān)于實(shí)體表達(dá)的首選項(xiàng)、提供的實(shí)體描述以及實(shí)體的其他語(yǔ)句進(jìn)行注釋。
偏好啟發(fā)
在面向電影的 CCPE 數(shù)據(jù)集中，冒充用戶的個(gè)人對(duì)著麥克風(fēng)講話，并且音頻直接播放給冒充數(shù)字助理的人。「助手」則輸出他們的響應(yīng)，然后通過(guò)文本到語(yǔ)音向用戶播放。
這些雙人自然對(duì)話包括在使用合成對(duì)話難以復(fù)制的雙方之間自發(fā)發(fā)生的不流暢和錯(cuò)誤。這創(chuàng)建了一系列關(guān)于人們電影偏好的自然且有條理的對(duì)話。
在對(duì)這個(gè)數(shù)據(jù)集的觀察中，我們發(fā)現(xiàn)人們描述他們的偏好的方式非常豐富。該數(shù)據(jù)集是第一個(gè)大規(guī)模表征該豐富度的數(shù)據(jù)集。我們還發(fā)現(xiàn)，偏好也稱為選項(xiàng)的特征，并不總是與智能助理的方式相匹配，或者與推薦網(wǎng)站的方式相匹配。換言之，你最喜愛(ài)的電影網(wǎng)站或服務(wù)上的過(guò)濾器，可能與你在尋求個(gè)人推薦時(shí)描述各種電影時(shí)使用的語(yǔ)言并不匹配。
Taskmaster-1 數(shù)據(jù)集
在 Taskmaster-1 的對(duì)話框數(shù)據(jù)集中，已經(jīng)累計(jì)了 13215 個(gè)基于任務(wù)的對(duì)話框，包含 7708 個(gè)書面表達(dá)以及 5507 個(gè)口語(yǔ)表達(dá)數(shù)據(jù)。該數(shù)據(jù)集內(nèi)容覆蓋了六個(gè)生活領(lǐng)域，包括：訂購(gòu)披薩，創(chuàng)建汽車維修預(yù)約，設(shè)置租車，訂購(gòu)電影票，訂購(gòu)咖啡飲料和預(yù)訂餐廳。
面向任務(wù)的對(duì)話框
該數(shù)據(jù)集通過(guò)兩個(gè)程而創(chuàng)建，每個(gè)程序都具有獨(dú)特的優(yōu)勢(shì)。第一個(gè)涉及兩個(gè)人口頭交流的「Wizard-of-Oz」方法，其中受過(guò)訓(xùn)練的智能體和人互動(dòng)以完成任務(wù);而第二個(gè)是「自我對(duì)話」，其中由單人書面技術(shù)增加語(yǔ)料庫(kù)大小和說(shuō)話者多樣性，包含了大約 7700 寫入「自我對(duì)話」條目和約 5500 個(gè)雙人口語(yǔ)對(duì)話。
對(duì)于書面對(duì)話，我們讓人們根據(jù)每個(gè)任務(wù)概述的場(chǎng)景自己創(chuàng)建完整的對(duì)話，從而扮演用戶和助手的角色。因此，雖然口語(yǔ)對(duì)話更接近地反映了會(huì)話語(yǔ)言，但書面對(duì)話既適當(dāng)豐富又復(fù)雜，但更便宜且更容易收集。
我們不會(huì)將工作者限制在詳細(xì)的腳本或小型知識(shí)庫(kù)中，因此我們觀察到與現(xiàn)有數(shù)據(jù)集相比，這一數(shù)據(jù)集包含更真實(shí)和多樣化的對(duì)話。
我們還提供了幾種基線模型，包括具有基準(zhǔn)性能的最先進(jìn)神經(jīng)機(jī)器翻譯架構(gòu)以及定性人體評(píng)估。對(duì)話框標(biāo)有 API 調(diào)用和參數(shù)，這是一種簡(jiǎn)單且經(jīng)濟(jì)有效的方法，可避免復(fù)雜注釋模式的要求。對(duì)話模型和服務(wù)提供者 API 之間的抽象層允許給定模型與提供類似功能的多個(gè)服務(wù)交互。
與傳統(tǒng)的，詳細(xì)的策略相比，我們只關(guān)注每種類型的會(huì)話的 API 參數(shù)，而不僅僅是執(zhí)行事務(wù)所需的變量。例如，在關(guān)于安排乘坐共享的對(duì)話框中，我們將「到」和「從」位置標(biāo)記為汽車類型(經(jīng)濟(jì)、豪華、帶游泳池等)。對(duì)于電影票，我們標(biāo)記電影名稱、劇院、時(shí)間、票數(shù)，有時(shí)還有屏幕類型(例如 3D 或標(biāo)準(zhǔn))。語(yǔ)料庫(kù)版本中都包含了完整的標(biāo)簽列表。
我們希望這些數(shù)據(jù)集對(duì)于研究界在對(duì)話系統(tǒng)和會(huì)話推薦中的實(shí)驗(yàn)和分析都是有用的。
關(guān)鍵詞：
