基於昇騰計算語言AscendCL開發AI推理應用

// 此處以虛擬碼的形式展示介面的呼叫流程
// 初始化
// 此處的..表示相對路徑，相對可執行檔案所在的目錄，例如，編譯出來的可執行檔案存放在out目錄下，此處的..就表示out目錄的上一級目錄
const char *aclConfigPath = "../src/acl.json";
aclError ret = aclInit(aclConfigPath);
// ......
// 去初始化
ret = aclFinalize();

// 此處以虛擬碼的形式展示介面的呼叫流程，以顯式建立Context和Stream為例
// 執行管理資源申請
// 1、指定運算的Device
aclError ret = aclrtSetDevice(deviceId);
// 2、顯式建立一個Context，用於管理Stream物件
ret = aclrtCreateContext(context, deviceId);
// 3、顯式建立一個Stream，用於維護一些非同步操作的執行順序，確保按照應用程式中的程式碼呼叫順序執行任務
ret = aclrtCreateStream(stream);
//......
// 執行管理資源釋放
// 1、銷燬Stream
ret = aclrtDestroyStream(stream);
// 2、銷燬Context
ret = aclrtDestroyContext(context);
// 3、釋放Device資源
ret = aclrtResetDevice(deviceId);
//......

// 此處以虛擬碼的形式展示介面的呼叫流程，以「由使用者管理記憶體」為例
// 1.根據om模型檔案獲取模型執行時所需的權值記憶體大小、工作記憶體大小。
aclError ret = aclmdlQuerySize(omModelPath, &modelWorkSize,
 &modelWeightSize);
// 2.根據工作記憶體大小，申請Device上模型執行的工作記憶體。
ret = aclrtMalloc(&modelWorkPtr, modelWorkSize, 
          ACL_MEM_MALLOC_HUGE_FIRST);
// 3.根據權值記憶體的大小，申請Device上模型執行的權值記憶體。
ret = aclrtMalloc(&modelWeightPtr, modelWeightSize, 
          ACL_MEM_MALLOC_HUGE_FIRST);
// 4.以從om模型檔案載入模型、由使用者管理工作記憶體和權值記憶體為例
// 模型載入成功，返回標識模型的ID。
ret = aclmdlLoadFromFileWithMem(modelPath, &modelId, modelWorkPtr, 
 modelWorkSize, modelWeightPtr, 
modelWeightSize);

// 此處以虛擬碼的形式展示如何準備模型的輸入、輸出資料結構
// 1.根據載入成功的模型的ID，獲取該模型的描述資訊
aclmdlDesc *modelDesc = aclmdlCreateDesc();
aclError ret = aclmdlGetDesc(modelDesc, modelId);
// 2.準備模型推理的輸入資料結構
// (1)申請輸入記憶體
// 當前範例程式碼中的模型只有一個輸入，所以index為0，如果模型有多個輸入，則需要先呼叫aclmdlGetNumInputs介面獲取模型輸入的數量
void *modelInputBuffer = nullptr;
size_t modelInputSize = aclmdlGetInputSizeByIndex(modelDesc, 0);
ret = aclrtMalloc(&modelInputBuffer, modelInputSize,                                              ACL_MEM_MALLOC_NORMAL_ONLY);
// (2)準備模型的輸入資料結構
// 建立aclmdlDataset型別的資料，描述模型推理的輸入
aclmdlDataset *input = aclmdlCreateDataset();
aclDataBuffer *inputData = aclCreateDataBuffer(modelInputBuffer, modelInputSize);
ret = aclmdlAddDatasetBuffer(input, inputData);
// 3.準備模型推理的輸出資料結構
// (1)建立aclmdlDataset型別的資料output，描述模型推理的輸出
aclmdlDataset *output = aclmdlCreateDataset();
// (2)獲取模型的輸出個數.
size_t outputSize = aclmdlGetNumOutputs(modelDesc);
// (3)迴圈為每個輸出申請記憶體，並將每個輸出新增到aclmdlDataset型別的資料中
for (size_t i = 0; i < outputSize; ++i) {
size_t buffer_size = aclmdlGetOutputSizeByIndex(modelDesc, i);
void *outputBuffer = nullptr;
 ret = aclrtMalloc(&outputBuffer, buffer_size, 
              ACL_MEM_MALLOC_NORMAL_ONLY);
aclDataBuffer *outputData = aclCreateDataBuffer(outputBuffer, buffer_size); 
ret = aclmdlAddDatasetBuffer(output, outputData);
}

// 此處以虛擬碼的形式展示同步模型執行的過程
// 1. 由使用者自行編碼，將模型所需的輸入資料讀入記憶體
// 如果模型推理之前先進行媒體資料處理，則此處可以將媒體資料處理後的輸出內容作為模型推理的輸入記憶體，
// ......
// 2. 執行模型推理
// modelId表示模型ID，在模型載入成功後，會返回標識模型的ID
// input、output分別表示模型推理的輸入、輸出資料，在準備模型推理的輸入、輸出資料結構時已定義
aclError ret = aclmdlExecute(modelId, input, output)
// 3. 處理模型推理的輸出資料
for (size_t i = 0; i < aclmdlGetDatasetNumBuffers(output); ++i) {
//獲取每個輸出的記憶體地址和記憶體大小
aclDataBuffer* dataBuffer = aclmdlGetDatasetBuffer(output, i);
void* data = aclGetDataBufferAddr(dataBuffer);
size_t len = aclGetDataBufferSizeV2(dataBuffer);
//獲取到輸出資料後，由使用者自行編碼，處理輸出資料
//......
}
// 4.銷燬模型輸入、輸出資料結構
// 釋放輸入資源，包括資料結構和記憶體
(void)aclDestroyDataBuffer(dataBuffer);
(void)aclmdlDestroyDataset(mdlDataset);
// 5.釋放記憶體資源，防止記憶體洩露
// ......

// 此處以虛擬碼的形式展示模型解除安裝的過程
// 1. 解除安裝模型
aclError ret = aclmdlUnload(modelId);
// 2. 釋放模型描述資訊
(void)aclmdlDestroyDesc(modelDesc);
// 3. 釋放模型執行的工作記憶體和權值記憶體
(void)aclrtFree(modelWorkPtr);
(void)aclrtFree(modelWeightPtr);