在 Transformers 中使用對比搜尋生成可媲美人類水平的文字 🤗

2023-05-17 06:00:35

1. 引言

自然語言生成 (即文字生成) 是自然語言處理 (NLP) 的核心任務之一。本文將介紹神經網路文字生成領域當前最先進的解碼方法 對比搜尋 (Contrastive Search)。提出該方法的論文 「A Contrastive Framework for Neural Text Generation」 最初發表於 NeurIPS 2022 ([論文][官方實現])。此後, 「Contrastive Search Is What You Need For Neural Text Generation」 的作者又進一步證明了對比搜尋可以用 現有的 語言模型在 16 種語言上生成可媲美人類水平的文字 ([論文][官方實現])。

[備註] 對於不熟悉文字生成的使用者,請參閱 此博文 瞭解更多詳情。


2. Hugging Face