jvm jni 及 pvm pybind11 大批次資料傳輸及優化

PS：要轉載請註明出處，本人版權所有。

PS: 這個只是基於《我自己》的理解，

如果和你的原則及想法相沖突，請諒解，勿噴。

前置說明

  本文作為本人csdn blog的主站的備份。（BlogID=116）

環境說明

1. android 手機
2. linux python環境

前言

---

  近幾個月來，對我來說，發生了許許多多的事情，導致有很多idea，但是都未形成好的文章。最近，趁著這個機會，寫一篇。

  由於業務的安排，我們需要在c/c++層與java和python層進行資料交換，資料量有大有小，但是由於我們業務上對這個資料交換的延時有一定的要求，因此有些問題需要我們解決。在我們的實驗過程中，我們發現了在常規情況下，在jvm中用新建立ByteArray/FloatArray進行巨量資料量（6Mb byte/2Mb floats）的傳輸，時間在5ms/7ms，在pvm中用新建立bytearray巨量資料量（8Mb byte）的傳輸，時間在1ms左右。從實驗情況來看，我們需要優化jvm中進行巨量資料量傳輸的方法。

  我以前寫過關於java，python和c/cpp互動的一些文章，感興趣可以參考。

• 《C++ 呼叫 Python 總結(一)》 https://blog.csdn.net/u011728480/article/details/103903612
• 《java 手動生成jni標頭檔案(JNI靜態註冊)》 https://blog.csdn.net/u011728480/article/details/87260113
• 《Android JNI靜態和動態註冊 、Java Reflect（C或C++層反射和JAVA層反射）、Java 可變引數（JNI實現）》 https://blog.csdn.net/u011728480/article/details/78963494

jvm jni篇

---

  jni常規大量資料交換方法網上有許多，基本都是如下所示:

  在java往c/cpp返回時，一般都是獲取資料的底層地址，然後針對地址操作即可。

jbyteArray array;//or jfloatArray array; passed by jni-func
void * _you_wanted_ptr = env->GetPrimitiveArrayCritical(array, nullptr);

// TODO

env->ReleasePrimitiveArrayCritical(array, _you_wanted_ptr, JNI_ABORT);

  在c/cpp往java傳輸大量資料時，有兩種方式，一種是直接new一個陣列，然後返回的方式，一種就是獲取java層的陣列地址，然後直接修改相關的資料即可。其基本如下所示：

// slow way
int len = xxx;
void * data_ptr = xxx;
jXXXArray array = env->NewXXXArray(len);
env->SetXXXArrayRegion(array, 0, len, (const jXXX *) data_ptr);
return array;

// fast way
jbyteArray array;//or jfloatArray array; passed by jni-func
int len = xxx;
void * data_ptr = xxx;
env->SetXXXArrayRegion(array, 0, len, (const jXXX *) data_ptr);

  這裡在使用fast way模式後，在jvm中用進行巨量資料量（6Mb byte/2Mb floats）的傳輸，時間在0.88ms/1ms，注意，有使用限制。這裡一定要注意多執行緒安全的問題。

pvm pybind11篇

---

  在pybind11中，大規模資料傳輸一般有兩種資料結構，一種是py::bytes，一種就是我們常見的numpy陣列，特別是在影象處理中，numpy陣列是最常見的一種格式。下面，根據這兩種方式，分別介紹。

py::bytes 型別傳輸

  python 層傳給c/cpp。

const py::bytes &value;//passed by pybind11-func
Py_ssize_t size = PyBytes_GET_SIZE(value.ptr());
char * ptr = PyBytes_AsString(value.ptr());

//TODO 

  c/cpp 層傳給python。

char * buf = xxx;
int len = xxx;
return py::bytes(buf, len);//In pybind11, return to pvm

  注意，在py::bytes中，也有直接修改地址的方式，這裡就不提供了（python buffer protocol），有心人自己去研究吧。

numpy資料傳輸

  這個也有像py::bytes那樣建立陣列，然後返回的方式，這裡就不提供了。這裡主要還是演示一下怎麼快速在c/cpp中獲取numpy資料。其實這裡的資料傳輸也就是直接獲取numpy陣列地址，基本大差不差。

  c/cpp到python

// python buffer protocol
py::array_t<float, py::array::c_style | py::array::forcecast> &buffer;//passed by pybind11-func
auto buf_info = buffer.unchecked<1>();

char * ptr = (char *)buf_info.data(0)

// set value to ptr(numpy)

// get value from ptr(numpy)

  注意，這裡使用到一個叫做python buffer protocol的東西，有興趣大家可以看看，我在這個上並沒有深究。

pybind11中記憶體管理問題

  在pybind11中，要小心管理記憶體，特別是注意以下兩種呼叫的區別。
根據https://pybind11.readthedocs.io/en/stable/advanced/classes.html的說明，我們一般會有兩種情況需要選擇使用。

// 單例
class MyClass{
    private:
    ~MyClass(){}
};

// 禁止unique_ptr 呼叫 解構函式， 所有資源釋放需要在cpp側進行完成。
py::class_<MyClass, std::unique_ptr<MyClass, py::nodelete>>(m, "MyClass")
    .def(py::init<>())


// 一般class
class MyClass{
    public:
    ~MyClass(){}
};

// unique_ptr 解構時自動呼叫解構函式，所有資源釋放由unique_ptr完成。
py::class_<MyClass, std::unique_ptr<MyClass>>(m, "MyClass")
    .def(py::init<>())

後記

---

  總的來說，在jvm和pvm中，通過操作固定陣列的底層指標，我們可以快速的獲取資料和傳輸資料。但是存在一些現象，例如需要注意一些原子操作和pvm/jvm中陣列的生命週期的問題，我這裡建議，如果是大規模資料傳輸，建議直接全域性陣列，這樣保證生命週期問題。

參考文獻

[1]https://pybind11.readthedocs.io/en/stable/advanced/classes.html

PS: 請尊重原創，不喜勿噴。

PS: 要轉載請註明出處，本人版權所有。

PS: 有問題請留言，看到後我會第一時間回覆。