微軟釋出了Pix2story,讓使用者只要指定圖片,人工智慧就能看圖說故事。微軟提到,他們試圖教導人工智慧創意,試圖將人工智慧發展至另一個層次,而在Pix2story中,他們讓人工智慧發揮創意結合特定類型產生故事。

微軟提到,說故事是人的天性之一,在寫作被發明之前,人們就透過講故事分享價值觀,而編寫故事並非一件簡單的事,特別如果是光靠看圖片,並以各類藝術類型(Genre)寫出故事。自然語言處理技術發展至今,是作為推動電腦與人類互動革新的領域,微軟試著讓自然語言處理能以更自然和更聚焦的方式敘事。

微軟在Azure上開發了Pix2Story,這是一個應用類神經網路的網頁應用程式,使用者只要選擇圖片,Pix2Story就會發揮創意為該張照片編寫出一小段冒險、科幻和驚悚類型風格的故事。而該系統的架構設計,首先要從上傳的照片取得圖說,並將這些圖說輸入至遞迴神經網路(Recurrent Neural Network)模型,根據圖片以及文體產生故事。

產生輸入照片圖說的方法,微軟以MS COCO圖說資料集的30萬張圖片,訓練了視覺語意嵌入模型,對上傳的圖像進行分析和產生的圖說。視覺語義嵌入負責將輸入的圖片轉換成圖說,這部分包含兩個模型,第一個是卷積神經網路,用於萃取稱為註釋向量的特徵向量。第二個模型則是長期短期記憶(Long Short-Term Memory)網路,透過上下文向量、先前的隱藏狀態以及先前產生的單詞,一次產生一個單詞。

另外,還要以不同的藝術類型產生故事,為此微軟以2千部小說,花費兩個星期訓練編碼解碼(Encoder-Decoder)模型。微軟將小說的段落映射到Skip-thought向量(Vector),而這是一種可以生成用於不同任務的通用型語句表達的模型。微軟提到,在這個專案中,他們訓練編碼解碼模型,並使用書本中文字的連續性,來重建編碼段落周圍的句子。編碼器會將句子映射到向量中,而解碼器接著對該向量進行調整,為來源句子進行類型翻譯。

由於視覺語意嵌入模型輸入給Skip-thought模型短句子,則輸出也會是短句子,因此當結果想要輸出是更加敘事的段落,則需要對輸入做風格轉換,這意味要使用Skip-thought向量表達,將輸入設置加上成想要輸出包含的特徵,這個操作的公式為Skip-thought的輸入等於,圖片編碼圖說減去平均所有圖說編碼,再加上相似長度的編碼段落以及預期輸出的特徵。

熱門新聞

Advertisement