簡介面向畢業(yè)設(shè)計與課程作業(yè)的 Python 酒店評論細粒度情感分析系統(tǒng)資源包。內(nèi)容覆蓋多源評論數(shù)據(jù)爬取、清洗、分詞去停用詞、屬性抽取與情感極性判斷等流程并支持基于 LSTM、BERT 等模型的細粒度分析及可視化展示適合自然語言處理初學者或需要快速搭建情感分析原型的開發(fā)者參考學習。壓縮包內(nèi)共 2000 個文件以 txt 數(shù)據(jù)文件為主包含約 2000 條正負面酒店評論、停用詞表等另有 2 個 Python 腳本與 1 個說明文檔整體大小僅 1.91MB便于直接下載使用。當前已有 98 人學習下載。資源提供了較完整的項目脈絡(luò)從評論文本預處理到特征工程、PCASVM 或深度模型對比再到結(jié)果展示均有對應(yīng)代碼與數(shù)據(jù)支撐同時附有一份 README 說明可幫助快速理解目錄結(jié)構(gòu)與運行方式。對于正在做酒店評論情感分析相關(guān)課題或課程設(shè)計的學生這份資源能節(jié)省大量收集數(shù)據(jù)與搭建基礎(chǔ)模型的時間直接作為系統(tǒng)原型或二次開發(fā)的起點。1. 基于python的酒店評論細粒度情感分析要拆的不是「好評差評」酒店評論里「位置好但隔音差」「早餐豐富不過電梯要等很久」這類句子很常見。粗粒度情感分析只能籠統(tǒng)給出正向或負向細粒度情感分析要做的是把「位置」「隔音」「早餐」「電梯」這些評價維度單獨拆出來再對每個維度分別判斷情感極性——同一個句子里位置是正、隔音是負系統(tǒng)要能同時給出這兩種結(jié)論。基于 Python 實現(xiàn)這套系統(tǒng)核心工作落在三塊能按酒店場景切分的評價維度體系、能聯(lián)合完成「抽維度 判極性」的模型管線以及把人能看懂的結(jié)論送回前端的落地方案。本文按這條路線展開先定維度與標注規(guī)范再做數(shù)據(jù)清洗與增強然后講多任務(wù)模型的選型和實現(xiàn)接著用 Streamlit 搭出可操作的系統(tǒng)界面最后給出跨維度一致性檢驗這種生產(chǎn)環(huán)境里最值得做的驗證方法。適合已經(jīng)會用 Python 做文本分類、想往細粒度方向深挖的讀者也是酒店OTA做口碑拆解的常見做法。2. 先定義「細」到什么程度酒店評論的維度體系與訓練數(shù)據(jù)準備細粒度情感分析落地時第一步不是選模型而是定義「細粒度」的邊界。酒店評論里常見的維度包括位置、價格、房間、設(shè)施、服務(wù)、餐飲、衛(wèi)生七類具體到某條評論可能同時涉及「房間」和「服務(wù)」兩個維度。設(shè)計維度體系時我一般遵循兩個原則一是每個維度在語義上互斥不出現(xiàn)「房間」和「床品」同時在一條評論里被當兩個維度的情況二是維度數(shù)量控制在 5~8 個太多會讓標注一致性和模型收斂都變得困難。2.1 七維度標注規(guī)范與數(shù)據(jù)來源以 7 個維度為例需要預先約定每個維度的別名表和判斷規(guī)則。例如「服務(wù)員態(tài)度冷淡」應(yīng)歸到「服務(wù)」而不是「餐飲」「早餐的粥是涼的」歸到「餐飲」「床墊太軟」歸到「房間」「停車場收費貴」歸到「設(shè)施」或「位置」按實際語境判定。這個判定規(guī)則必須寫進標注文檔否則多人標注時一致性會崩掉。數(shù)據(jù)來源最常見的是爬取公開的酒店點評內(nèi)容這里有一個值得注意的點爬取數(shù)據(jù)只用于模型訓練和學術(shù)驗證不用于商業(yè)發(fā)布。常見做法是用requests加限速策略去抓取公開頁面再把內(nèi)容做成 CSV結(jié)構(gòu)為review_id, city, hotel_name, content, aspect_terms, polarities。import requests import time import pandas as pd from bs4 import BeautifulSoup def fetch_reviews(url, max_pages10): reviews [] for page in range(1, max_pages 1): resp requests.get(f{url}?page{page}, headers{User-Agent: Mozilla/5.0}) soup BeautifulSoup(resp.text, html.parser) for item in soup.select(.review-item): content item.select_one(.review-content).text.strip() reviews.append({content: content}) time.sleep(2) # 限速避免對目標站造成壓力 return reviews if __name__ __main__: data fetch_reviews(https://example-hotel-reviews.com/beijing) df pd.DataFrame(data) df[aspect_terms] df[polarities] df.to_csv(hotel_reviews_raw.csv, indexFalse, encodingutf-8-sig)字段含義aspect_terms是人工標注出的評價維度多個維度用逗號分隔例如「位置,隔音」polarities與之一一對應(yīng)例如「正向,負向」。注意aspect_terms和polarities在抓取時留空后續(xù)通過標注工具填充不要在采集階段讓爬蟲去猜情感這會把噪聲帶進標注環(huán)節(jié)。2.2 標注工具選擇與一致性校驗標注時不需要開發(fā)復雜的前端常見做法是用 doccano 這類開源標注工具。Doccano 支持序列標注和文本分類兩種模式對于「抽維度 判極性」的任務(wù)建議用序列標注模式框選「位置」「隔音」等詞再打上「B-Aspect」「I-Aspect」和「Pos」「Neg」「Neu」標簽。這樣一次標注同時得到維度邊界和情感極性避免兩次標注帶來不一致。標注完成后要算一致性。兩人標同一批數(shù)據(jù)時用 Cohens Kappa 或簡單的 F1 值衡量。酒店評論場景下 Kappa 低于 0.7 就需要回頭修訂維度定義。這一條在實操中經(jīng)常被跳過結(jié)果就是模型訓練時一個「位置」標簽在標注文檔里有三種理解最終準確率卡在 70% 上不去。2.3 數(shù)據(jù)增強與類別不平衡處理酒店評論數(shù)據(jù)天然存在兩個不平衡一是「位置」維度出現(xiàn)頻率遠高于「隔音」二是正樣本好評遠多于負樣本。常見做法是用回譯做輕度增強保留原句的同時生成同義句更穩(wěn)妥的方式是聚焦于改善真實數(shù)據(jù)而不是合成數(shù)據(jù)。這里給出一個小技巧對低頻維度做句子級過采樣即在每個 batch 里以一定概率重復包含「隔音」「電梯」等低頻詞的樣本。import random def oversample_by_aspect(df, aspect隔音, repeat_ratio0.3): aspect_df df[df[aspect_terms].str.contains(aspect)] rest_df df[~df[aspect_terms].str.contains(aspect)] expanded aspect_df.sample(fracrepeat_ratio, replaceTrue, random_state42) return pd.concat([df, expanded], ignore_indexTrue) df_aug oversample_by_aspect(pd.read_csv(hotel_reviews_annotated.csv), aspect隔音)這里的邏輯是低頻維度樣本占比小模型很容易學到「預測多數(shù)類」的捷徑過采樣讓模型在訓練時更頻繁看到「隔音」樣本本質(zhì)上是調(diào)整了損失函數(shù)中各維度的權(quán)重。repeat_ratio一般取 0.2~0.4過大會導致模型對少量樣本過擬合驗證集上其他維度反而掉點。3. 細粒度情感分析模型選型從管道方案到多任務(wù)聯(lián)合抽取拿到標注數(shù)據(jù)后設(shè)計建模方案。常見做法是兩種路線一是用「命名實體識別抽維度 文本分類判極性」的管道方式二是用多任務(wù)學習讓兩個子任務(wù)共享編碼層。酒店評論場景下我通常直接選多任務(wù)方案。3.1 為什么不用「先抽取后判斷」的管道方案管道方案在工程上思路直觀先跑一個 NER 模型抽出「位置」「隔音」等詞再把抽出的詞和原句拼在一起輸入情感分類器。問題是誤差會累積NER 抽錯一個邊界情感分類器就對著錯誤的片段判斷結(jié)果全錯而且管道方式需要維護兩個模型部署兩套推理服務(wù)線上延遲翻倍。多任務(wù)方案讓兩個任務(wù)共享 BERT 層只在輸出層分成兩個 head。好處是分詞、語義表示只做一遍訓練時損失函數(shù)同時優(yōu)化「維度邊界識別」和「極性判斷」模型在一個任務(wù)上學到的特征能被另一個任務(wù)復用。酒店評論這種短文本場景下效果提升不算特別大但代碼更集中維護成本明顯降低。3.2 基于 BERT 的多任務(wù)細粒度情感模型結(jié)構(gòu)模型結(jié)構(gòu)采用共享 BERT 編碼層加兩個輸出頭一個頭做序列標注識別評價維度在句子中的起止位置另一個頭做序列分類判斷每個位置對應(yīng)的情感極性。訓練時兩種損失相加最后取極性與最接近的維度詞對齊。import torch import torch.nn as nn from transformers import BertModel, BertTokenizer ASPECTS [位置, 價格, 房間, 設(shè)施, 服務(wù), 餐飲, 衛(wèi)生] POLARITIES [POS, NEG, NEU] class AspectPolarityModel(nn.Module): def __init__(self, model_namebert-base-chinese, num_aspectslen(ASPECTS), num_polaritieslen(POLARITIES)): super().__init__() self.bert BertModel.from_pretrained(model_name) self.aspect_head nn.Linear(self.bert.config.hidden_size, num_aspects 1) # 加一個非評價維度類型 self.polarity_head nn.Linear(self.bert.config.hidden_size, num_polarities) def forward(self, input_ids, attention_mask, aspect_labelsNone, polarity_labelsNone): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) sequence_output outputs.last_hidden_state aspect_logits self.aspect_head(sequence_output) polarity_logits self.polarity_head(sequence_output) loss None if aspect_labels is not None and polarity_labels is not None: loss_fct nn.CrossEntropyLoss(ignore_index-100) # aspect_head 只計算有效 token忽略 padding 部分 aspect_loss loss_fct(aspect_logits.view(-1, aspect_logits.size(-1)), aspect_labels.view(-1)) polarity_loss loss_fct(polarity_logits.view(-1, polarity_logits.size(-1)), polarity_labels.view(-1)) loss aspect_loss polarity_loss return aspect_logits, polarity_logits, loss參數(shù)說明num_aspects 1中特殊加出的 1 是「非評價維度」類別用于標記句子中流水詞、標點等不承載評價信息的 tokenignore_index-100是 PyTorch 中標記忽略位置的常規(guī)做法保證 padding 部分不參與 loss 計算。bert-base-chinese直接處理中文不需要額外分詞成詞向量酒店評論這種短文本里效果比 word2vec 加 BiLSTM 的組合高出一截。3.3 訓練時要注意的數(shù)據(jù)編碼細節(jié)數(shù)據(jù)編碼階段要把句子轉(zhuǎn)成 BERT 的輸入格式。酒店評論長度通常在 50~200 字直接截斷會丟失全句語義所以統(tǒng)一設(shè)定max_length128超出部分丟棄尾部確保 batch 內(nèi)長度一致。from transformers import BertTokenizer, DataCollatorWithPadding from datasets import Dataset tokenizer BertTokenizer.from_pretrained(bert-base-chinese) def encode_fn(examples): encoded tokenizer( examples[content], max_length128, truncationTrue, paddingmax_length, return_tensorsNone ) # 將 aspect_terms 和 polarities 轉(zhuǎn)換為 token 級標簽的代碼略去核心是 word_ids 對齊 return encoded dataset Dataset.from_pandas(df_aug).map(encode_fn, batchedTrue) data_collator DataCollatorWithPadding(tokenizertokenizer, paddinglongest)這里paddingmax_length在訓練時統(tǒng)一用 128 長度好處是 tensor shape 固定避免邊角 batch 報錯推理時改為paddingTrue按 batch 內(nèi)最長句填充省顯存。很多 python 新手在這里會踩一個坑把tokenizer對象直接傳入Dataset.map結(jié)果 tokenizer 在 batched 模式下無法被打包直接在環(huán)境里跑就一直報「請安裝缺失的包」一類的錯誤。3.4 模型效果驗證看什么指標細粒度場景下不能只丟一個準確率出來。正確做法是對每個維度分別計算精確率、召回率和 F1。在測試集上按維度聚合評估代碼from sklearn.metrics import classification_report y_true [POS, POS, NEG, NEG, POS] y_pred [POS, POS, POS, NEG, POS] print(classification_report(y_true, y_pred, labels[POS, NEG, NEU], zero_division0))分類報告里要重點觀察兩個點一是「NEG」類的召回率如果偏低說明模型把負面評價誤判成中性二是「NEU」類的精確率這個類別經(jīng)常被模型大量預測導致整個系統(tǒng)看起來「安全」但信息量很低。對酒店評論系統(tǒng)來說寧可錯判極性也不要把評價維度漏掉所以調(diào)參時常把 aspect loss 的權(quán)重調(diào)高 0.1~0.3。4. 系統(tǒng)設(shè)計與實現(xiàn)從模型到可操作的細粒度情感分析界面模型訓練完成后要把它變成系統(tǒng)。整體流程是用戶輸入或?qū)朐u論后端調(diào)用訓練好的模型推理結(jié)果按酒店維度拆解后展示在界面里。這里用 Streamlit 做前端理由很簡單Python 生態(tài)內(nèi)構(gòu)建輕量應(yīng)用最快一張頁面能同時呈現(xiàn)維度命中和極性判斷不需要額外起前后端兩個服務(wù)。4.1 系統(tǒng)模塊劃分與數(shù)據(jù)流系統(tǒng)分三層數(shù)據(jù)接入層負責加載模型和接收文本模型推理層統(tǒng)一從model.predict()入口讀取結(jié)果展示層用 Streamlit 和 pandas 渲染。推理層封裝成獨立類是這套設(shè)計的核心。import torch from transformers import BertTokenizer MODEL_PATH ./checkpoints/aspect_polarity_model tokenizer_path ./checkpoints/aspect_polarity_tokenizer class HotelSentimentModel: def __init__(self, model_pathMODEL_PATH, tokenizer_pathtokenizer_path): self.device torch.device(cuda if torch.cuda.is_available() else cpu) self.tokenizer BertTokenizer.from_pretrained(tokenizer_path) self.model AspectPolarityModel() self.model.load_state_dict(torch.load(model_path, map_locationself.device)) self.model.to(self.device) self.model.eval() def predict(self, text): inputs self.tokenizer(text, return_tensorspt, truncationTrue, max_length128) with torch.no_grad(): aspect_logits, polarity_logits, _ self.model(input_idsinputs[input_ids].to(self.device), attention_maskinputs[attention_mask].to(self.device)) # 將 logits 轉(zhuǎn)為具體標簽再用啟發(fā)式將維度詞與極性對應(yīng) aspect_ids aspect_logits.argmax(dim-1).squeeze().tolist() polar_ids polarity_logits.argmax(dim-1).squeeze().tolist() return {aspect_ids: aspect_ids, polarity_ids: polar_ids}self.model.eval()必須在推理前調(diào)用否則 dropout 層仍處于開啟狀態(tài)同一句話每次預測結(jié)果都會抖動。將模型加載封裝在類的__init__里是為了避免 Streamlit 的腳本重跑機制在每次交互時重新裝入一次權(quán)重后面講冷啟動策略時還要針對這個再做緩存。4.2 Streamlit 頁面邏輯與狀態(tài)管理Streamlit 的腳本重跑機制對模型推理不太友好頁面任何按鈕觸發(fā)都會重跑整個腳本。我的做法是用st.session_state緩存模型只讓模型加載一次。import streamlit as st import pandas as pd st.cache_resource def load_model(): return HotelSentimentModel() model load_model() st.title(酒店評論細粒度情感分析系統(tǒng)) input_text st.text_area(輸入一條酒店評論, height120) if st.button(分析) and input_text.strip(): with st.spinner(模型推理中...): raw_result model.predict(input_text.strip()) result parse_result(raw_result, input_text.strip()) # 將 token 標簽映射為維度極性 df pd.DataFrame(result, columns[評價維度, 情感極性, 對應(yīng)原文片段]) st.dataframe(df, use_container_widthTrue)用st.cache_resource裝飾加載模型的方法模型只會被初始化一次后續(xù)重跑直接命中緩存。st.dataframe直接把 pandas DataFrame 渲染成可滾動表格比st.write有更好的視覺效果。這里不推薦把模型直接放進session_state因為 Streamlit 官方對cache_resource的語義就是給「大對象、加載昂貴、無狀態(tài)」用的模型正好符合。4.3 從標簽到人話回復模板設(shè)計模型輸出的是 token 級的標簽序列例如aspect_ids可能是[0, 0, 5, 5, 0, 2, 2]對用戶來說不可讀。系統(tǒng)要有把離散標簽翻譯回自然語言摘要的能力。DIMENSION_MAP { 0: 無法識別, 1: 位置, 2: 價格, 3: 房間, 4: 設(shè)施, 5: 服務(wù), 6: 餐飲, 7: 衛(wèi)生 } POLARITY_MAP {0: 正向, 1: 負向, 2: 中性} def parse_result(raw, original_text): aspect_ids, polar_ids raw[aspect_ids], raw[polarity_ids] seen set() rows [] for i, (aid, pid) in enumerate(zip(aspect_ids, polar_ids)): dim DIMENSION_MAP.get(aid, 無法識別) if dim in seen or dim 無法識別: continue seen.add(dim) rows.append([dim, POLARITY_MAP.get(pid, 中性), original_text[max(0, i-3): i3]]) return rows注意seen集合的作用同一句里重復出現(xiàn)的相同維度只保留第一次結(jié)果避免一條「衛(wèi)生」被拆成三個重復行。這種規(guī)則在工程上是必要的模型經(jīng)常會針對同一維度輸出多個連續(xù)標簽用去重能把結(jié)果收斂到用戶可讀的粒度但如果你的需求是想看每個維度出現(xiàn)在句子里的多個位置就去掉這個去重邏輯。4.4 冷啟動與熱啟動前面的部署動作直接決定了交互體驗酒店評論細粒度分析系統(tǒng)在 Streamlit 里冷啟動較慢最大開銷是加載 BERT 模型權(quán)重。常見做法是把模型序列化為state_dict存到本地啟動時直接load_state_dict也可以先用 ONNX 做精度對齊再在推理端啟用加速。下面給出冷啟動時的判斷邏輯if initialized not in st.session_state: with st.spinner(請稍候模型加載中...): model load_model() st.session_state[initialized] True else: model load_model()這段代碼的價值在于頁面第一次打開時會走加載分支之后每次交互直接走else分支拿緩存模型不會再等。很多 python 入門者不理解 Streamlit 重跑機制把加載邏輯寫在頂層結(jié)果每次點按鈕都要等十幾秒然后誤以為是模型太慢其實是加載邏輯寫錯了位置。下表展示了前端反饋粒度與模型能力的對應(yīng)關(guān)系前端反饋方式對應(yīng)模型輸出粒度多任務(wù)模型是否需要改造整體好評率/差評率全句二分類不需要直接用極性 logits 做聚合分維度柱狀圖/雷達圖多個維度的各自極性不需要parse_result 后按維度聚合原文中高亮維度詞token 級 BIO 標簽需要把 aspect_head 輸出映射回原文位置時間趨勢分析多日/多酒店聚合結(jié)果需要后端額外存時間戳字段5. 生產(chǎn)環(huán)境里最值得做的驗證跨維度一致性檢驗與維度級 A/B 測試模型上線前除了常規(guī)的準確率和 F1細粒度情感分析系統(tǒng)還應(yīng)該做一項專項驗證——跨維度一致性檢驗。它的目標很明確確保「位置好但隔音差」這類包含多個維度的評論系統(tǒng)給出的判斷是合理且可解釋的而不是維度之間互相矛盾。5.1 一致性公式要看的不是總體正確率系統(tǒng)在一條評論里同時輸出「位置為正向」「隔音為負向」這兩個判斷不能互相矛盾。常見的做法是設(shè)定一致性約束同一維度在不同句子中語義相近的描述要得到相同的極性判斷。例如「離地鐵站近」和「步行到地鐵站只要幾分鐘」都應(yīng)判位置為正向如果一條判正向、一條判負向一致性低。一致性計算在工程上用一個簡單的比值第i個維度的一致性 該維度預測結(jié)果與其語義近鄰樣本預測結(jié)果一致的個數(shù) / 該維度近鄰樣本總數(shù)用余弦相似度找語義近鄰再比對預測結(jié)論。這塊代碼推薦放到模型評估階段跑from sklearn.metrics.pairwise import cosine_similarity def dimension_consistency(model, samples, dim位置, threshold0.6): embed_fn lambda text: model.tokenizer(text, return_tensorspt)[input_ids].mean(dim1) embs [embed_fn(s[content]).numpy() for s in samples] sim cosine_similarity(embs) count, total 0, 0 for i in range(len(samples)): for j in range(len(samples)): if i j or sim[i][j] threshold: continue total 1 if predict_dim(samples[i][content], dim) predict_dim(samples[j][content], dim): count 1 return count / max(total, 1)threshold0.6的設(shè)定依據(jù)是酒店評論這種詞數(shù)少、句式相近的場景余弦相似度過低會引入大量無關(guān)樣本過高則找不到足夠近鄰。predict_dim是拿模型對某個維度單獨抽出來做預測的封裝。建議該指標在 0.8 以上再放行上線否則要回頭檢查標注一致性或多任務(wù)權(quán)重配比。5.2 打個熱補丁為模型加一個小白規(guī)則層任何純模型方案在細粒度情感分析里都會有偶發(fā)的低級錯誤——把「免費礦泉水」判為「價格負向」把「前臺辦理很快」判為「服務(wù)中性」。這類錯誤不需要重新訓練生產(chǎn)環(huán)境里更常見、更可靠的做法是加一個輕量規(guī)則層覆蓋高頻的否定詞和轉(zhuǎn)折詞做一個修正用的黑白名單。規(guī)則類型觸發(fā)條件修正動作否定詞修正「不」「沒」「無」緊鄰維度詞極性取反但不取反「不方便」這類本身含否定語義的詞程度詞修正「非常」「太」「極」極性強度調(diào)高一檔展示層加語氣詞轉(zhuǎn)折修正「但是」「不過」之后的維度后半句權(quán)重更大優(yōu)先采用后半句的極性這個規(guī)則層和深度學習模型配合時優(yōu)先級設(shè)在模型輸出之后、展示之前。以 VSCode 配置 python 環(huán)境時安裝額外依賴同理規(guī)則層就相當于一個輕量的補丁包不動骨架只動輸出。這個做法在調(diào)用模型預測 5000 條歷史評論做回歸測試時能明顯壓低那些系統(tǒng)性誤判。5.3 維度抽取的兜底策略上面規(guī)則層解決的是已然在維度列表內(nèi)的場景更殘酷的現(xiàn)實是模型偶爾會漏掉整段維度。面對「酒店隔音極差一晚上沒睡著」這種情況規(guī)則層抽到「隔音」直接判負向能兜住但如果模型輸出給的是無法識別系統(tǒng)就直接丟失這條有效的用戶反饋。兜底做法是把原始文本切成短句逐句跑一遍關(guān)鍵詞匹配命中維度詞表就強制補一個結(jié)果進去。def fallback_aspect_fill(raw, model_result): dims [隔音, 位置, 早餐, 停車, 設(shè)施, 衛(wèi)生, 電梯, 前臺] for dim in dims: if dim not in [r[0] for r in model_result] and dim in raw: model_result.append([dim, 無法識別, raw[:10] ...]) return model_result這種補丁式邏輯看起來不夠「機器學習」但酒店評論場景里它直接提高了維度召回率。提示補進去的無法識別極性不能參與后續(xù)統(tǒng)計否則這類帶噪聲樣本會拉低整個數(shù)據(jù)面板的有效率給前端畫框架圖抽數(shù)據(jù)時也別把這類樣本卷進去。到這里基于 Python 的酒店評論細粒度情感分析系統(tǒng)算是能落成一個可交付的縱向切片了。做好維度定義、把多任務(wù)模型和規(guī)則層接在一起、在部署時用緩存解決冷啟動再把一致性校驗跑進上線流程——這套做法足夠撐起一個面向單酒店或區(qū)域酒店群的評論分析工具。本文還有配套的精品資源點擊獲取