Hugging Face 分詞器新增聊天模板屬性

2023-10-18 06:00:26

一個幽靈,格式不正確的幽靈,在聊天模型中游蕩!

太長不看版

現存的聊天模型使用的訓練資料格式各各不同,我們需要用這些格式將對話轉換為單個字串並傳給分詞器。如果我們在微調或推理時使用的格式與模型訓練時使用的格式不同,通常會導致嚴重的、無聲的效能下降,因此匹配訓練期間使用的格式極其重要! Hugging Face 分詞器新增了 chat_template 屬性,可用於儲存模型訓練時使用的聊天格式。此屬性包含一個 Jinja 模板,可將對話歷史記錄格式化為正確的字串。請參閱 技術檔案,以瞭解有關如何在程式碼中編寫和應用聊天模板。

引言

如果你熟悉