基於倒排表的電力排程知識問答系統構建 (100行程式碼帶你實現nlp問答系統）

問答系統所需要的資料已經提供，對於每一個問題都可以找得到相應的答案，所以可以理解為每一個樣本資料是 <問題、答案>。 那系統的核心是當使用者輸入一個問題的時候，首先要找到跟這個問題最相近的已經儲存在庫裡的問題，然後直接返回相應的答案即可。
由於作者是學電氣的，這裡以電力排程知識文字來構建問答系統

原始表格樣子，我準備了排程相關的205個的問題和答案。

語言：python3.7

第一步：讀取資料

import pandas as pd

import numpy as np
import jieba
import re

csv='電力排程問答.csv'
file_txt=pd.read_csv(csv, header=0,encoding='gbk')#[205 rows x 2 columns]
file_txt=file_txt.dropna()#刪除空值[[205 rows x 2 columns]
print(file_txt.head())#檢視前5行

第二步：過濾停用詞，標點符號，單字詞

中文停用詞連結;
nlp 中文停用詞資料集

# 定義刪除除字母,數位，漢字以外的所有符號的函數
def remove_punctuation(line):
    line = str(line)
    if line.strip() == '':
        return ''
    rule = re.compile(u"[^a-zA-Z0-9\u4E00-\u9FA5]")
    line = rule.sub('', line)
    return line

#停用詞
def stopwordslist(filepath):
    stopwords = [line.strip() for line in open(filepath, 'r', encoding='gbk').readlines()]
    return stopwords

stopwords = stopwordslist("停用詞.txt")

#去除標點符號
file_txt['clean_review']=file_txt['問題'].apply(remove_punctuation)
#去除停用詞
file_txt['cut_review']=file_txt['clean_review'].apply(lambda x:" ".join([w for w in list(jieba.cut(x)) if w not in stopwords and len(w)>1]))
print(file_txt.head())

得到的cut_review為問題的關鍵詞資訊

檢視下cut_review

第三步：文字向量化表示
因為我們是根據輸入一個問題，然後從系統裡找到和使用者所題問題相似的問題，輸出答案。需要計算相似度，在這之前需要先文字向量化表示。
我採用tf-idf表示，直接匯入包使用吧。

from sklearn.feature_extraction.text import CountVectorizer#詞袋
from sklearn.feature_extraction.text import TfidfTransformer#tfidf

count_vect = CountVectorizer()
X= count_vect.fit_transform(file_txt['cut_review'])

#tf-idf
tfidf_transformer = TfidfTransformer()
X_fidf = tfidf_transformer.fit_transform(X)
print(X_fidf)

第四步：原始索引
我這裡的原始索引為
{‘問題IID’:[關鍵詞1,關鍵詞2…],‘問題2ID’:[關鍵詞2,關鍵詞3…]…}
其中的ID為問題1所以的行數，即問題1為第一個問題，ID為1。

for i in range(len(file_txt)):
    left, rights = i,file_txt.iloc[i]['cut_review'].split()

由於數太多，我這裡修改下程式碼，假設只有5個問題

for i in range(len(file_txt.head())):
    left, rights = i,file_txt.iloc[i]['cut_review'].split()
    print('left is ',i,'rights is ',rights)

原始索引可以不出現總程式碼裡，我寫出來，只是為了方便你們閱讀。

第五步：倒排索引實現
因為我們需要將使用者提出的問題和庫的問題進行相似度計算，然後返回相似度高的問題答案。 如果我們遍歷庫的每一個問題，然後和使用者提出的問題做相似度計算，如果資料量大，則時間成本太大。
於是，這裡需要倒排索引。
前文提到的原始索引為
{‘問題IID’:[關鍵詞1,關鍵詞2…],‘問題2ID’:[關鍵詞2,關鍵詞3…]…}

處理後的倒排索引為
{‘關鍵詞1’:[問題1ID],‘關鍵詞2’:[問題1ID，問題2ID…}

然後對使用者提的問題，首先先分詞，找到問題的關鍵詞。然後根據關鍵詞，找到包含該關鍵詞的所有問題ID。再把這些問題和使用者提的問題進行相似度計算。
通過倒排表，我們無需在計算相似度時遍歷庫的所有問題，只需遍歷包含使用者問題關鍵詞的問題即可。

result={}
for i in range(len(file_txt)):
    left, rights = i,file_txt.iloc[i]['cut_review'].split()
    for right in rights:
        if right in result.keys():
            result[right].append(left)
        else:
            result[right] = [left]

同理，由於原始資料量太大，我假設問題只有5個，這時來檢視下倒排索引是什麼。體驗下什麼是倒排索引

result={}
for i in range(len(file_txt.head())):
    left, rights = i,file_txt.iloc[i]['cut_review'].split()
    for right in rights:
        if right in result.keys():
            result[right].append(left)
        else:
            result[right] = [left]

print(result)

如圖所示，在只有5個問題下，包含關鍵詞制定的問題只有1，包含關鍵詞電力企業的有問題1,3…

第六步：對使用者輸入的問題進行分詞，提取關鍵詞，找到匹配到的所有問題ID

假設使用者輸入的問題是：sentence=「中性點接地方式有哪些」
得到的關鍵詞是：[‘中性點’, ‘接地’, ‘方式’]

sentence="中性點接地方式有哪些"
clean_reviewyonghu=remove_punctuation(sentence)#去除標點
cut_reviewyonghu=[w for w in list(jieba.cut(clean_reviewyonghu)) if w not in stopwords and len(w)>1]#去除停用詞，單字詞
#print(cut_reviewyonghu)
# ['中性點', '接地', '方式']
Problem_Id=[]
for j in cut_reviewyonghu:
    if j in result.keys():
       Problem_Id.extend(result[j])
id=(list(set(Problem_Id)))#去重之後的ID
print(id)

得到的問題ID是
該問題在資料庫裡對應的問題有17個問題

第七步：相似度計算
將使用者所提問題 「中性點接地方式有哪些」 和找到的17個問題，一一計算檔案相似度。

相似度計算有很多種方式，我在下面用的相似度計算方法，沒有用上第三步中文字向量化。

相似度計算有多種方式，具體參考我之前的一篇部落格
文字相似度幾種計算方法及程式碼python實現

#餘弦相識度計算方法
def cosine_similarity(sentence1: str, sentence2: str) -> float:
    """
    :param sentence1: s
    :param sentence2:
    :return: 兩句文字的相識度
    """
    seg1 = [word for word in jieba.cut(sentence1) if word not in stopwords]
    seg2 = [word for word in jieba.cut(sentence2) if word not in stopwords]
    word_list = list(set([word for word in seg1 + seg2]))#建立詞庫
    word_count_vec_1 = []
    word_count_vec_2 = []
    for word in word_list:
        word_count_vec_1.append(seg1.count(word))#文字1統計在詞典裡出現詞的次數
        word_count_vec_2.append(seg2.count(word))#文字2統計在詞典裡出現詞的次數

    vec_1 = np.array(word_count_vec_1)
    vec_2 = np.array(word_count_vec_2)
    #餘弦公式

    num = vec_1.dot(vec_2.T)
    denom = np.linalg.norm(vec_1) * np.linalg.norm(vec_2)
    cos = num / denom
    sim = 0.5 + 0.5 * cos

    return sim

str1=sentence#使用者所提問題
similarity={}#儲存結果
if len(id)==0:
    print('資料庫裡沒有該問題，請重新提問')
else:
    for i in id:
        str2 = file_txt.iloc[i]['問題']
        sim1 = cosine_similarity(str1, str2)  # 餘弦相識度
        print('使用者所提問題和問題{0}的相似度是{1}'.format(i, sim1))
        similarity[i] = sim1
print(similarity)

第八步：給出答案
將第七步得到的similarity={} 進行排序，輸出相似度最高的2個問題答案

jieguo=sorted(similarity.items(),key=lambda d:d[1],reverse=True)[:2]#降序
print(jieguo)
print('使用者所提的問題是：',sentence)

for i,j in jieguo:
    print('資料庫相似的問題是{0} 答案是{1}'.format(i,file_txt.iloc[i]['答案']))

答案如下：可以發問題33的答案是我們要找的答案

完美
整理後的總程式碼

import pandas as pd

import numpy as np
import jieba
import re


# 定義刪除除字母,數位，漢字以外的所有符號的函數
def remove_punctuation(line):
    line = str(line)
    if line.strip() == '':
        return ''
    rule = re.compile(u"[^a-zA-Z0-9\u4E00-\u9FA5]")
    line = rule.sub('', line)
    return line

#停用詞
def stopwordslist(filepath):
    stopwords = [line.strip() for line in open(filepath, 'r', encoding='gbk').readlines()]
    return stopwords

#餘弦相識度計算方法
def cosine_similarity(sentence1: str, sentence2: str,stopwords) -> float:
    """
    :param sentence1: s
    :param sentence2:
    :return: 兩句文字的相識度
    """
    seg1 = [word for word in jieba.cut(sentence1)  if word not in stopwords ]
    seg2 = [word for word in jieba.cut(sentence2)  if word not in stopwords ]
    word_list = list(set([word for word in seg1 + seg2]))#建立詞庫
    word_count_vec_1 = []
    word_count_vec_2 = []
    for word in word_list:
        word_count_vec_1.append(seg1.count(word))#文字1統計在詞典裡出現詞的次數
        word_count_vec_2.append(seg2.count(word))#文字2統計在詞典裡出現詞的次數

    vec_1 = np.array(word_count_vec_1)
    vec_2 = np.array(word_count_vec_2)
    #餘弦公式

    num = vec_1.dot(vec_2.T)
    denom = np.linalg.norm(vec_1) * np.linalg.norm(vec_2)
    cos = num / denom
    sim = 0.5 + 0.5 * cos

    return sim

def main():
    #讀取資料
    csv = '電力排程問答.csv'
    file_txt = pd.read_csv(csv, header=0, encoding='gbk')  # [205 rows x 2 columns]
    file_txt = file_txt.dropna()  # 刪除空值[[205 rows x 2 columns]
    #停用詞載入
    stopwords = stopwordslist("停用詞.txt")

    # 去除標點符號
    file_txt['clean_review'] = file_txt['問題'].apply(remove_punctuation)
    # 去除停用詞
    file_txt['cut_review'] = file_txt['clean_review'].apply(
        lambda x: " ".join([w for w in list(jieba.cut(x)) if w not in stopwords and len(w) > 1]))

    #所有問題組合起來的倒排表 result
    result = {}
    for i in range(len(file_txt)):
        left, rights = i, file_txt.iloc[i]['cut_review'].split()
        for right in rights:
            if right in result.keys():
                result[right].append(left)
            else:
                result[right] = [left]

    #使用者問題
    sentence=input('請輸入問題：')
    clean_reviewyonghu = remove_punctuation(sentence)  # 使用者問題去除標點
    cut_reviewyonghu = [w for w in list(jieba.cut(clean_reviewyonghu)) if
                        w not in stopwords and len(w) > 1]  # 使用者問題去除停用詞，單字詞 得到關鍵詞
    #print(cut_reviewyonghu)
    #查詢使用者問題關鍵詞在資料庫中對應的問題id
    Problem_Id = []
    for j in cut_reviewyonghu:
        if j in result.keys():
            Problem_Id.extend(result[j])
    id = (list(set(Problem_Id)))  # 去重之後的ID

    #計算餘弦相似度
    str1 = sentence  # 使用者所提問題
    similarity = {}  # 儲存結果
    if len(id) == 0:
        print('資料庫裡沒有該問題，請重新提問')
    else:
        for i in id:
            str2 = file_txt.iloc[i]['問題']
            sim1 = cosine_similarity(str1, str2,stopwords)  # 餘弦相識度
            # print('使用者所提問題和問題{0}的相似度是{1}'.format(i, sim1))
            similarity[i] = sim1
    #輸出和使用者問題相似度最高几個問題的答案
    jieguo = sorted(similarity.items(), key=lambda d: d[1], reverse=True)[:2]  # 降序
    print(jieguo)
    print('使用者所提的問題是：', sentence)

    for i, j in jieguo:
        print('資料庫相似的問題是{0} 答案是{1}'.format(i, file_txt.iloc[i]['答案']))



if __name__=='__main__':
    main()

總結

這是一個簡單的問答系統，現實生活中，該業務應該還包含語音
即將語音轉換為文字，然後進行問答系統。
我們需要的維護的就是資料庫中的問題（即對應本文的問題答案表格）
問題越多，該問題系統效果就越好。
如果需要提升效果和速度，可以再修改停用詞（本文給出的停用詞針對所有文字，不是專門為電力設計的），使最後得到的關鍵詞只包含電力領域的詞。
再者修改結巴分詞，使有的詞不被分成單字。

可以再封裝為軟體，懶得再動手封裝為介面軟體啦，就不演示啦。
如果只做到倒排索引那一步即根據使用者提出的問題，在資料庫裡找到啦相似問題，然後把相似問題和答案 一一展現出來就是一個搜尋系統（類似於百度，輸入一句話，彈出一大堆相關得東西）

電氣工程的計算機萌新：餘登武。寫博文不容易。如果你覺得本文對你有用，請點個贊支援下，謝謝

我一個學電氣的，怎麼懂得這些。唉