算法 - python ahocorasick 從本地文件讀取文本,進行關鍵字匹配,匹配失敗
問題描述
使用Python+pyahocorasick,匹配關鍵字,關鍵字大概在10-20個漢字之間。
構建ahocorasick的文本,是從本地文件key_word的讀入。格式如下:
母嬰專區<輔食<面仔/面條:嬰幼兒,幼兒,嬰兒,兒童,寶寶面條,細面,粗面,手工面,蔬菜面,營養面,碎面,掛面,面仔匹配結果為空。
代碼如下:
import ahocorasickA = ahocorasick.Automaton()title = ’Hello Kitty3色蔬菜細面300克 嬰兒幼兒營養面條寶寶輔食面條’with open(’key_word’, ’r’) as f: for line in f.readlines():line = line.strip()line = str(line.split(’<’)) A.add_word(line, line)A.make_automaton()aa = A.iter(title)for item in aa: print(item) # 打印為空值
請有操作過這種問題的大大,幫忙看看,能提供示例代碼,或者提供處理思路,謝謝!
問題解答
回答1:研究了兩天,自己實現了這個功能
本地文件有太多重復關鍵字,匹配并不是100%,供參考
參考代碼如下:
import ahocorasickA = ahocorasick.Automaton()titles = [’Hello Kitty3色蔬菜細面300克 嬰兒幼兒營養面條寶寶輔食面條’]word_dict = {}with open(’categories.csv’, ’r’) as f: for line in f.readlines():line = line.strip()word_key = line.split(’:’)[0]word_value = list(line.split(’:’)[1].split(’|’))word_dict[word_key] = word_valueline = (line.split(’:’)[1].split(’|’))for word in line: if word == '':continue A.add_word(word, word)A.make_automaton()for title in titles: category = [] aa = A.iter(title) ret = [] matches = {} for (k,v) in aa:matches[v] = 1 for (k,v) in matches.items():ret.append(k) for value in word_dict.items():if ret[0] in value[1]: category.append(value[0]) #關鍵字太多,所以寫死了一個keyword匹配的結果 #print(ret[0], value[0], value[1]) print(category[0])
打印結果:母嬰專區<輔食<面仔/面條
