臺灣“中央研究院”IT創新研究中心的研究人員開發出一款新型生成對抗網絡，其在生成器的輸出層設計了二元神經元，研究人員希望將此用于AI作曲。

中國臺灣的研究人員最近開發了一種新型生成對抗網絡(GAN)，在其生成器的輸出層設計了二元神經元。該模型已經預先在arXiv上發表的論文中提出，可以直接在測試時生成二進制值預測。

目前為止，GAN在連續分布建模方面取得了顯著成果。不過，要將GAN應用于離散型數據還存在很大挑戰，尤其是在高維離散空間中，主要是因為由模型分布向目標數據分布的優化上存在困難。

進行這項研究的研究人員之一Hao-Wen Dong透露，“我目前正著手進行音樂生成。我認為，作曲可以被解讀為一系列的決斷，例如，關于樂器的選擇、和弦的方法、甚至是使用的確切音符。為了實現AI作曲家的宏偉愿景，我特別感興趣的是GAN等深層生成模型是否能夠做出決定。因此，這項工作考察了我們是否可以訓練設計了二元神經元的GAN，并利用標準訓練算法與反向傳播去做出二元決策。”

Hao-Wen Dong和他的顧問Yi-Hsuan Yang共同開發一個模型，可以在測試時直接生成二進制值預測。然后，他們使用它來生成二進制化的MNIST數字，同時比較不同類型的二元神經元、GAN目標以及網絡架構的性能。

樣本生成數字和預激活輸出，用于由MLP實施并使用WGAN-GP目標進行訓練的建議模型。來源：Dong and Yang

“簡而言之，這種新型GAN(BinaryGAN)是一種采用二元神經元的GAN，在其生成器的輸出層輸出一個或零的神經元，”Dong說，“GAN有兩個主要組成部分：生成器和判別器。生成器的目的是生成假數據樣本，這些樣本能夠欺騙判別器將生成的樣本歸類為真樣本。另一方面，判別器的目標是區分假樣本，然后利用其提供的反饋來改進生成器。而訓練之后，生成器可以用來生成新的數據樣本。”

研究人員能夠有效地訓練BinaryGAN，以及它們的生成模型與二元神經元。他們的研究結果還表明，使用梯度估計器可能是有前景的用GAN模擬離散分布的方法。

建議模型的預激活輸出的直方圖以及實值模型的概率預測。這兩個模型均由MLP實施，并通過WGAN-GP目標進行培訓。

“通過使用梯度估計器，我們能夠使用反向傳播算法訓練BinaryGAN，”Dong說，“此外，模型中采用的二值化導致了深度神經網絡學習的中間表征存在著多種不同的特征。這也強調了在訓練中包含二值化操作的重要性，因此這些二值化操作也能進行優化。”

Dong和Yang現在正尋求將采用二元神經元的GAN應用于條件計算圖的實現。在這種情況下，根據網絡中的二元神經元所做的決定，某些部分將被激活或失效。

MLP實施的建議模型系統圖;請注意，二元神經元僅用于生成器的輸出層

這很重要，因為它可以讓我們建立一個更復雜的、依賴于早期網絡層面決定的模型，”Dong說，“例如，我們可以建立一個AI作曲家，首先決定學習樂器和和弦，然后再相應地學習作曲。”

關鍵詞：