GPT虛擬直播Demo系列（二）｜無人直播間實現虛擬人回覆粉絲
摘要
虛擬人和數位人是人工智慧技術在現實生活中的具體應用，它們可以為人們的生活和工作帶來便利和創新。在直播間場景裡，虛擬人和數位人可用於直播主播、智慧客服、行銷推廣等。接入GPT的虛擬人像是加了超強buff，具備更強大的自然語言處理能力和智慧對話能力，可以實現更加智慧化、自然化的人機互動。
- 直播主播：虛擬人可以作為直播間的主播角色，通過與粉絲的對話和互動，提高粉絲的互動效果和興趣
- 代替客服：數位人可以作為客服角色，通通過自然語言處理和智慧對話，解決客戶的問題，並提高客戶滿意度。
- 行銷推廣：虛擬人可以作為品牌形象進行推廣，數位人可以通過客觀資料進行精準行銷，提高粉絲的黏性和忠誠度。
前言
續上一篇文章《「GPT虛擬直播」實戰篇｜GPT接入虛擬人實現直播間彈幕回覆》 ，我們實現了ChatGPT與ZIM的對接。使得加入聊天群組就相當於加入了直播間，實時與ChatGPT文字互動。但還缺了點什麼：直播間可不是隻有文字，還有主播！接下來進入本文主題：如何接入虛擬人直播。
虛擬主播我們可以通過即構Avatar進行個人化客製化，之前在他們《官網》體驗過Avatar Demo,一鍵可以打造多元化風格，支援Q版、二次元、動漫、擬人等多種風格，即構自研虛擬形象引擎強大AI驅動能力，四種驅動方式：表情驅動、聲音驅動、文字驅動、肢體驅動。根據本期Demo需求客製化了擬人版本的主播小姐姐。即構AvatarQ版形象軟萌可愛含豐富的服飾和妝容素材庫，推薦大家去體驗。即構Avatar的文字驅動方式剛好符合咱們的業務需求。
1 加入ZIM房間，實時收發訊息
加入ZIM房間跟上一篇文章介紹的nodejs版原理一致：
- 先登入ZIM
- 加入房間或建立房間
- 傳送彈幕
- 監聽房間訊息，如果來自ChatGPT則朗讀
1.1 建立ZIM物件
首先引入ZIM庫後，可以呼叫ZIM的create函數建立ZIM物件，然後呼叫ZIM物件的setEventHandler函數，將ZIMEventHandler物件傳入。ZIMEventHandler主要用於處理一些回撥事件如使用者上線等回撥事件。
public class ZIMMngr {
/**
* 建立ZIM物件
*/
private ZIM createZIM(Application app, ZIMEventHandler handler) {
// 建立 ZIM 物件，傳入 APPID 與 Android 中的 Application
ZIM zim = ZIM.create(KeyCenter.APP_ID, app);
zim.setEventHandler(handler);
return zim;
}
//其他程式碼略...
}
1.2 群聊-登入、建立房間、加入房間
登入即構服務首選需要token，生成token演演算法在附件原始碼已經給出，直接呼叫即可。但是需要注意，在這個Demo中直接在使用者端上生成了，這是非常危險的操作，因為你的金鑰和appid暴露出來了，駭客可以通過金鑰和appid蹭你的額度費用。因此，建議把token計算放在伺服器端生成。
ZIM的createRoom函數用於建立房間，需要提供房間號；joinRoom函數用於加入房間，同樣也需要提供房間號。具體程式碼如下所示：
public class ZIMMngr {
//其他程式碼略....
/**
* 登入zim
*/
public void login(String userId, CB cb) {
String token = ZIMMngr.getToken(userId);
ZIMMngr.login(zim, token, userId, new ZIMLoggedInCallback() {
@Override
public void onLoggedIn(ZIMError errorInfo) {
if (errorInfo.getCode() != ZIMErrorCode.SUCCESS) {
Log.e(TAG, "login error:" + errorInfo.getMessage());
cb.complete(false, "登入失敗");
} else {
cb.complete(true, null);
}
}
});
}
/**
* 加入房間
*/
public void joinRoom(String roomId, CB cb) {
zim.joinRoom(roomId, new ZIMRoomJoinedCallback() {
@Override
public void onRoomJoined(ZIMRoomFullInfo roomInfo, ZIMError errorInfo) {
Log.e(TAG, ">>" + errorInfo.code);
if (errorInfo.code == ZIMErrorCode.ROOM_DOES_NOT_EXIST) {
cb.complete(false, "房間不存在！");
} else if (errorInfo.code == ZIMErrorCode.SUCCESS || errorInfo.code == ZIMErrorCode.THE_ROOM_ALREADY_EXISTS) {
cb.complete(true, roomInfo.baseInfo.roomName);
}
}
});
}
/**
* 建立房間
*/
public void createRoom(String masterId, String roomId, String roomName, CB cb) {
ZIMRoomInfo groupInfo = new ZIMRoomInfo();
groupInfo.roomID = roomId;
groupInfo.roomName = roomName;
zim.createRoom(groupInfo, new ZIMRoomCreatedCallback() {
@Override
public void onRoomCreated(ZIMRoomFullInfo roomInfo, ZIMError errorInfo) {
if (errorInfo.code == ZIMErrorCode.SUCCESS) {
inviteJoinRoom(masterId, roomId, CHATGPT_ID, cb);//這裡把chagpt的使用者id寫死
} else {
Log.e(TAG, "建立房間失敗：" + errorInfo.message);
cb.complete(false, "房號已存在，請更換一個房間號！");
}
}
});
}
}
1.3 即時通訊實現收發訊息
接下來實現訊息收發，主動傳送訊息與監聽接收訊息。注意，這裡因為我們只關注彈幕訊息，因此非彈幕訊息過濾。傳送訊息封裝兩類：
- P2P
- ROOM
注意，因為我們這裡只用彈幕訊息，因此ROOM訊息只表示彈幕訊息。
public class ZIMMngr {
//定義屬性略....
/**
* 收到房間訊息
*/
private void onRcvMsg(ArrayList<ZIMMessage> messageList) {
if (mListener == null) return;
for (ZIMMessage zimMessage : messageList) {
if (zimMessage instanceof ZIMBarrageMessage) {//只看彈幕訊息
ZIMBarrageMessage zimTextMessage = (ZIMBarrageMessage) zimMessage;
if (zimMessage.getTimestamp() < this.startTime)
continue;
String fromUID = zimTextMessage.getSenderUserID();
ZIMConversationType ztype = zimTextMessage.getConversationType();
String toUID = zimTextMessage.getConversationID();
Msg.MsgType type = Msg.MsgType.P2P;
String data = zimTextMessage.message;
Msg msg = Msg.parseMsg(data, fromUID, toUID, ztype == ZIMConversationType.ROOM);
mListener.onRcvMsg(msg);
}
}
}
/**
* 傳送zim訊息
* */
public void sendMsg(Msg msg, CB cb) {
//p2p訊息則傳送Text，room傳送彈幕型別訊息
ZIMMessage zimMsg = null;
ZIMConversationType type;
if (msg.type == Msg.MsgType.P2P) {
ZIMTextMessage m = new ZIMTextMessage();
m.message = msg.msg;
zimMsg = m;
type = ZIMConversationType.PEER;
} else {
ZIMBarrageMessage m = new ZIMBarrageMessage();
m.message = msg.msg;
zimMsg = m;
type = ZIMConversationType.ROOM;
}
ZIMMessageSendConfig config = new ZIMMessageSendConfig();
// 訊息優先順序，取值為 低:1 預設,中:2,高:3
config.priority = ZIMMessagePriority.LOW;
// 設定訊息的離線推播設定
ZIMPushConfig pushConfig = new ZIMPushConfig();
pushConfig.title = "離線推播的標題";
pushConfig.content = "離線推播的內容";
config.pushConfig = pushConfig;
zim.sendMessage(zimMsg, msg.toUID, type, config, new ZIMMessageSentCallback() {
@Override
public void onMessageAttached(ZIMMessage message) {
}
@Override
public void onMessageSent(ZIMMessage message, ZIMError errorInfo) {
cb.complete(errorInfo.code == ZIMErrorCode.SUCCESS, errorInfo.message);
}
});
}
// 其他程式碼略....
}
上面程式碼只挑選了關鍵函數, 更多關於即構ZIM介面與官方Demo可以點選參考這裡，或者參考附錄原始碼。
2 建立虛擬形象-即構Avatar
接下來需要建立虛擬形象，讀者可以參考官方檔案獲取更多詳細資訊。
需要注意的是，通過官方封裝的ZegoCharacterHelper可以非常簡單的建立Avatar。建立虛擬形象封裝到setCharacter函數中，在程式初始化期間，需要執行initRes函數，將資源拷貝到SDCard。作為演示，這裡是將Assets裡面的相關資源拷貝到SDCard。在實際專案中，建議將資源存放在伺服器端，通過離線下載的方式儲存到SDCard。這樣既可以降低安裝包的大小，也更靈活。
public class AvatarMngr implements ZegoAvatarServiceDelegate {
//屬性定義略....
/**
* 設定虛擬形象如衣服、頭髮、性別等
*/
private void setCharacter(User user) {
// 建立 helper 簡化呼叫
// base.bundle 是頭模, human.bundle 是全身人模
mCharacterHelper = new ZegoCharacterHelper(FileUtils.getPhonePath(mApp, "human.bundle", "assets"));
mCharacterHelper.setExtendPackagePath(FileUtils.getPhonePath(mApp, "Packages", "assets"));
// 設定形象設定
mCharacterHelper.setDefaultAvatar(ZegoCharacterHelper.MODEL_ID_FEMALE);
// 角色上屏, 必須在 UI 執行緒, 必須設定過avatar形象後才可呼叫(用 setDefaultAvatar 或者 setAvatarJson 都可以)
mCharacterHelper.setCharacterView(user.avatarView, () -> {
});
mCharacterHelper.setViewport(ZegoAvatarViewState.half);
mCharacterHelper.setPackage("ZEGO_Girl_Hair_0001");
mCharacterHelper.setPackage("ZEGO_Girl_Tshirt_0001_0002");
mCharacterHelper.setPackage("facepaint5");
mCharacterHelper.setPackage("irises2");
updateUser(user);
}
private void initRes(Application app) {
// 先把資源拷貝到SD卡，注意：線上使用時，需要做一下判斷，避免多次拷貝。資源也可以做成從網路下載。
if (!FileUtils.checkFile(app, "AIModel.bundle", "assets"))
FileUtils.copyAssetsDir2Phone(app, "AIModel.bundle", "assets");
if (!FileUtils.checkFile(app, "base.bundle", "assets"))
FileUtils.copyAssetsDir2Phone(app, "base.bundle", "assets");
if (!FileUtils.checkFile(app, "human.bundle", "assets"))
FileUtils.copyAssetsDir2Phone(app, "human.bundle", "assets");
if (!FileUtils.checkFile(app, "Packages", "assets"))
FileUtils.copyAssetsDir2Phone(app, "Packages", "assets");
}
//...
//其他程式碼略....
//...
}
除了衣服、首飾、髮型等"裝飾類"形象定義，還可以捏臉，這裡不詳細描述，建議讀者前往官網檢視。即構Avatar官網。
4 直播間虛擬人與粉絲互動聊天
建立完虛擬人後，接下來將收到的ChatGPT訊息朗讀出來，使虛擬主播嘴巴動起來，互動玩法更好。首先執行initTextApi函數，初始化本地文字驅動引擎。接下來就可以呼叫ZegoTextAPI的playTextExpression函數，驅動虛擬人語音播報文字內容。
/**
* 朗讀文字（嘴脣+語音）
*/
public void playText(String text) {
if (mTextApi == null) return;
mTextApi.playTextExpression(text);
Log.e(TAG, ">>>>已播放" + text);
}
/**
* 初始化文字驅動介面
*/
private void initTextApi() {
mTextApi = new ZegoTextAPI(mCharacterHelper.getCharacter());
mTextApi.setTextExpressionCallback(new ITextExpressionCallback() {
/**
* 文字驅動播放啟動時，回撥
*/
@Override
public void onStart() {
Log.d(TAG, "text drive start");
}
/**
* 文字驅動播放出錯時，回撥
* @param errorCode 錯誤碼，詳情請參考 [常見錯誤碼 - 文字驅動](https://doc-zh.zego.im/article/14884#2)。
*/
@Override
public void onError(int errorCode, String msg) {
}
/**
* 文字驅動播放結束時，回撥
*/
@Override
public void onEnd() {
Log.d(TAG, "text drive end");
}
});
}
文字驅動部分程式碼比較簡單，也反映了官方對這塊封裝的比較好。播報文字主要藉助即構avatar的文字能力，讀者可以檢視官方檔案描述：官方檔案。仔細閱讀可以發現，關鍵核心程式碼非常少，附件裡面的其他程式碼主要是開發App非核心程式碼。
本文演示了從0開發、無須伺服器端開發完成的基於ChatGPT的虛擬人直播，任何人下載該App即可加入直播間。一些小夥伴可能並不需要開發一個虛擬人直播平臺，而是想著在抖音、快手、視訊號等平臺實現虛擬人直播。這裡提供一個實現思路：
- 複用本文程式碼，可以實現ChatGPT回覆、並將回覆的文字驅動虛擬人
- 使用直播伴侶等工具錄製虛擬人，推流到抖音平臺
- 去github找開源工具，實時爬取直播間的彈幕
- 讀取到彈幕後，呼叫ChatGPT得到回覆，再回到第1步。
未來想象方面，虛擬人接入GPT可以實現更加智慧化、個性化的服務，可以預見的是，未來的虛擬人將更加人性化，通過情感計算等技術，可以實現更加真實、自然的人機互動。虛擬人還可以與物理機器人結合，成為未來的機器人助手，為人們的生活和工作提供更加便利的服務。
5 Github原始碼
供一個實現思路：
- 複用本文程式碼，可以實現ChatGPT回覆、並將回覆的文字驅動虛擬人
- 使用直播伴侶等工具錄製虛擬人，推流到抖音平臺
- 去github找開源工具，實時爬取直播間的彈幕
- 讀取到彈幕後，呼叫ChatGPT得到回覆，再回到第1步。
未來想象方面，虛擬人接入GPT可以實現更加智慧化、個性化的服務，可以預見的是，未來的虛擬人將更加人性化，通過情感計算等技術，可以實現更加真實、自然的人機互動。虛擬人還可以與物理機器人結合，成為未來的機器人助手，為人們的生活和工作提供更加便利的服務。