基於GPT搭建私有知識庫聊天機器人(二)環境安裝

2023-07-02 06:00:50

1、需要安裝的包

pip3 install flask         //python開發web框架
pip3 install langchain     //LLM開發框架
pip3 install openai        //LLM
pip3 install wechatpy      //微信介面開發包
pip3 install pycryptodome  //加解密包
pip3 install pdfplumber    //讀取和處理pdf
pip3 install streamlit     //用於繪製 UI介面
pip3 install pymilvus      //向量資料庫工具包
pip3 install tiktoken      //計算token數和費用
pip3 install python-dotenv //環境設定載入

2、安裝python

安裝包地址:https://www.python.org/ftp/python

安裝版本:3.8.10(>=3.8.1&<4.0)

  • 安裝之前首先要安裝各種依賴包

    yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make

  • 接下來下載python3.8.10

    wget https://www.python.org/ftp/python/3.8.10/Python-3.8.10.tar.xz

  • 然後解壓

    tar -xvJf Python-3.8.10.tar.xz

  • 進入Python-3.8.10

    cd Python-3.8.10

    ./configure prefix=/usr/local/python3

    make && make install

  • 接下來新增軟連線

    ln -s /usr/local/python3/bin/python3 /usr/bin/python3

  • 新增pip3連線

    ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

  • 設定pip源,建議使用豆瓣源,能達30Mb/s

    pip3 config set global.index-url http://pypi.douban.com/simple/
    pip3 config set install.trusted-host pypi.douban.com

3、安裝pycharm

忽略

4、部署向量資料庫

Milvus:https://www.milvus-io.com/overview

Pinecone:https://www.pinecone-io.com/

5、LLM金鑰

5.1、openai

官網地址:https://openai.com/

5.2、Hugging Face

官網地址:https://huggingface.co/

6、安裝langChain

pip install langchain

7、安裝問題

File "E:\python-projects\venv\lib\site-packages\numexpr_init**_.py", line 24, in from numexpr.interpreter import MAX_THREADS, use_vml, BLOCK_SIZE1 ImportError: DLL load failed while importing interpreter: 找不到指定的模組。**

解決辦法:

通過從 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下載 numpy+mkl 包來修復它和 pip 從終端安裝它(從下載的 whl 檔案所在的位置)

下載適合您設定的正確版本。我使用 python3.6 所以我下載了 numpy‑1.19.5+mkl‑cp36‑cp36m‑win_amd64.whl

ImportError: urllib3 v2.0 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with OpenSSL 1.0.2k-fips 26 Jan 2017

解決辦法:

//降低urllib版本

python3 -m pip install urllib3==1.26.6