大數(shù)據(jù)文摘出品
來源：MIT
編譯：lin
互聯(lián)網(wǎng)上有著過億級(jí)別的書，新聞，文獻(xiàn)等，再?zèng)]有比現(xiàn)在更好的時(shí)間去閱讀他們了，如果你有時(shí)間將所有的選擇都篩選一遍的話。
“互聯(lián)網(wǎng)里有著成噸的文檔，” MIT的助理教授Justin Solomon說，“任何一種可以輔助篩選所有這些內(nèi)容的技術(shù)都是極其有用的。”
最近，Solomon通過與MIT-IBM Watson AI實(shí)驗(yàn)室以及他自己在MIT的幾何數(shù)據(jù)處理小組合作，在神經(jīng)信息處理系統(tǒng)大會(huì)（NeurIPS）上展示了一種用于截取大量文本的新技術(shù)。他們的方法結(jié)合了三種流行的文本分析工具——主題建模Topic Modeling，單詞嵌入word embeddings和最優(yōu)傳輸optimal transport，可以提供比其他同樣符合流行的文檔分類評(píng)估標(biāo)準(zhǔn)的方法更好，更快的結(jié)果。
如果某個(gè)算法知道你過去喜歡什么，它可以掃描上百萬的可能性去尋找相似的內(nèi)容。隨著自然語言處理技術(shù)的進(jìn)步，“你也許會(huì)喜歡”這樣的推薦正變得更加快速和相關(guān)。
在NeurIPS提出的方法中，算法會(huì)根據(jù)收藏集中的常用單詞，將一個(gè)收藏集，比如書籍，匯總為各種主題，然后將每本書分為5至15個(gè)最重要的主題，基于估算每個(gè)主題對(duì)該書的總體貢獻(xiàn)值。
為了比較書籍，研究人員使用了另外兩種工具：?jiǎn)卧~嵌入Word embeddings（一種將單詞轉(zhuǎn)換成數(shù)字列表以反映其在常用用法中的相似性的技術(shù)）和最優(yōu)傳輸Optimal trasnsport（一種用于在多個(gè)目的地之間計(jì)算移動(dòng)物體或數(shù)據(jù)點(diǎn)的最有效方式的框架）。
單詞嵌入Word embeddings使得應(yīng)用兩次最優(yōu)傳輸optimal transport成為可能：首先在整個(gè)收藏集中對(duì)比主題，然后，在任兩本書之間比較常見主題間的重疊程度。
這個(gè)技術(shù)在掃描大型書籍收藏集以及冗長文檔時(shí)特別奏效。在這項(xiàng)研究中研究人員提供了一個(gè)樣例：弗蘭克·斯托克頓（Frank Stockton）的“大戰(zhàn)辛迪加”，這是一本19世紀(jì)的美國小說，它預(yù)言了核武器的興起。如果你正在尋找一本類似的書，主題模式會(huì)協(xié)助識(shí)別出與其他書籍共享的主要主題，在這個(gè)例子中則是航海、自然、軍事。
但是，僅憑主題模型并不能識(shí)別出托馬斯·赫胥黎（Thomas Huxley）在1863年的演講“有機(jī)自然的過去條件”是一個(gè)很好的匹配。作家本人是查爾斯·達(dá)爾文（Charles Darwin）進(jìn)化論的擁護(hù)者，他的演講充斥著化石和沉積物，反映了關(guān)于地質(zhì)學(xué)的新興思想。當(dāng)赫胥黎演講中的主題通過最優(yōu)傳輸方式與斯托克頓的小說相匹配時(shí)，就會(huì)出現(xiàn)一些交叉的主題：赫胥黎的地理，動(dòng)植物以及知識(shí)主題分別與斯托克頓的航海，自然和軍事主題密切相關(guān)。
通過書籍的代表性主題而不是單個(gè)單詞對(duì)書籍進(jìn)行建模，可以使得高端比較成為可能。該項(xiàng)研究的主要作者、IBM研究員Mikhail Yurochkin說：“如果你要求某人比較兩本書，他們會(huì)將每一本書分解為易于理解的概念，然后對(duì)概念進(jìn)行比較。”
研究表明結(jié)果是更快，更準(zhǔn)確的比較。研究人員1秒鐘時(shí)間比較了Gutenberg項(xiàng)目數(shù)據(jù)集中的1720對(duì)書籍，比第二好方法快了超過800倍。這項(xiàng)技術(shù)在精準(zhǔn)文檔排序上面也比其他方法表現(xiàn)更好，比如，Gutenberg數(shù)據(jù)集中按作者名來排序書籍，亞馬遜中按部門排序產(chǎn)品評(píng)價(jià)，BBC中按體育排序的體育故事等。在一系列可視化實(shí)例中，該研究論文的作者們認(rèn)為他們的方法可以按類型對(duì)文檔進(jìn)行整齊地聚類。
除了可以快速更準(zhǔn)確的分類文檔之外，該方法還提供了一個(gè)窗口用于進(jìn)入模式?jīng)Q策處理。通過顯現(xiàn)的主題列表，使用者可以看到為什么該模式正在推薦某一個(gè)文檔。
相關(guān)報(bào)道：
news.mit.edu/2019/finding-good-read-among-billions-of-choices-1220
