簡介這是一份面向課程設計、畢業設計及期末大作業的深度學習語音識別Python源碼與配套文檔說明適合具備Python和神經網絡基礎、需要完整工程參考的學生。壓縮包共八十八個文件以三十個Python腳本、二十九個txt文本、二十二個lst列表為主還包含docx手冊、配置文件和模型參數文件整體約三十四點六一MB目錄按聲學模型、語言模型清晰劃分。聲學模型提供GRU-CTC、DFCNN、CNN-CTC等多種實現可通過cnn_with_full.py直接訓練覆蓋常見中文語音識別方案語言模型引入CBHG結構與聲學模型配合形成完整識別鏈路。文檔說明涵蓋網絡結構、數據準備與訓練流程配合源碼可快速掌握從特征提取到模型評估的各個環節。目前已有二百一十三人學習下載適合用于課程報告、畢設答辯或作為二次開發的基礎框架。1. 這門課設的難點不在模型而在“能跑完、能復現、能答辯”每年到課程設計提交季總有人卡在語音識別上。基于深度學習的語音識別項目表面上是訓練一個模型實際上分數來自三件事源碼能在本地直接跑起來文檔能把設計思路和實驗結果說清楚答辯時能回答“為什么選這個網絡”而不是“代碼是不是你自己寫的”。很多拿到高分代碼的同學并沒有用最前沿的網絡而是把數據處理、特征提取、模型訓練、評估這條鏈路做得完整且可復現讓老師十次運行有十次同樣結果。下面就從任務定義、數據處理、模型訓練到文檔組織把一套可落地的方案拆開講。需要選題、復現或改進現有代碼的人都能直接照著走。課程設計里的語音識別不需要做到產品級核心目標是證明你對深度學習、語音信號處理和 Python 工程能力都有基本掌控所以后續方案都按“能在一臺普通 GPU 或 CPU 上從頭訓練完且結果穩定復現”來設計。2. 把語音識別拆成聲音到文本的鏈路為什么課程設計首選端到端模型語音識別ASR的任務是給定一段音頻輸出對應的文字序列。從信號層面看音頻是采樣點組成的一維波形采樣率常見為 16kHz也就是說每秒鐘有 16000 個數值點。直接把這些原始采樣點塞給神經網絡很難學因為語音中的關鍵信息分布在幾十毫秒級別的頻譜變化里所以第一步需要做特征提取。2.1 輸入特征與輸出粒度從波形到字符概率一個典型的基線流程是先把波形按幀劃分每幀 25ms、幀移 10ms對每幀做短時傅里葉變換得到功率譜再映射到 Mel 刻度上得到 log-mel 特征也叫 Fbank。這個特征逐幀排列模型在時間軸上看到的是“幀序列”輸出端則是一個字符集合比如英文 26 個字母加空格中文則是常用漢字與空格。最后通過解碼把逐幀概率變成字符串。評價指標一般看 CER字符錯誤率或 WER詞錯誤率計算公式是編輯距離除以參考文本長度。課程設計通常報告 CER 就夠了因為它跟字符表直接綁定。這個指標要放在文檔正文里老師一眼能看到量化結果。2.2 課程設計選端到端模型而不是 HMM/GMM 的四個理由傳統語音識別是一條很長的流水線GMM 建模聲學單元、HMM 建模時序狀態轉換、語言模型做解碼。要把這套東西在短時間里跑通需要 Kaldi 或者 HTK 這類工具調試復雜度高短板往往在環境依賴上。基于深度學習的端到端模型把整條鏈路簡化為“音頻特征到文本序列”的映射常見做法是 CTCConnectionist Temporal Classification配合 RNN 或 Transformer。選它有四個理由模型結構簡單純 PyTorch 就能實現不依賴 Kaldi/HTK 這類體系。訓練目標直接就是字符序列不需要強制對齊免去大量標注細節。老師的答辯問題通常圍繞網絡結構和損失函數展開這些知識在深度學習課上剛剛學過。在小型課程設計數據集上效果和泛化能力足夠演示。我一般會建議使用“CNN 前端 BiGRU CTC”的結構而不是一上來就上 Transformer。CNN 負責下采樣和局部特征BiGRU 建模長時序CTC 避開了幀級別對齊的標注成本。這樣組合在文檔里容易展開回答網絡選取問題時也能說得清楚。2.3 現成源碼和框架怎么選ESPnet/WeNet/Kaldi 與自建基線的取舍如果時間緊張有人會直接找開源的語音識別源碼包改一改提交比如 ESPnet 或 WeNet。這種做法不算錯但風險在于代碼量太大文檔說明說不清核心邏輯答辯時很容易被問到“這個模塊在哪個文件”。另一個極端是用 Kaldi但它的 shell 腳本和工具鏈已經和深度學習課程設計的要求脫節。我建議的路線是參考 WeNet 或 ESPnet 的數據處理思路但用 PyTorch 實現一個迷你版。自己寫的源碼哪怕只有幾百行也很容易在文檔里講清“輸入張量形狀、輸出張量形狀、損失怎么算”。下表給出幾個選項的對比方案代碼量訓練資源能否快速講清適合課設Kaldi 流水線大高難不太適合ESPnet / WeNet很大較高難時間多可參考自建 PyTorch 迷你模型小低容易推薦2.4 環境準備先把 Python 版本和依賴固定下來課程設計源碼提交后老師不一定在自己電腦上復現但文檔里要給出明確的環境說明。建議在項目根目錄放一個requirements.txt并注明所用 Python 版本。常見的做法是 Python 3.8 或 3.10依賴包含 torch、torchaudio、librosa、numpy、pandas、matplotlib、soundfile。安裝命令如下pip install torch torchaudio pip install librosa soundfile pandas matplotlibtorch和torchaudio版本必須匹配否則torchaudio.load可能報算子不兼容錯誤如果使用 CPU 環境torch會自動選擇 CPU 版本不影響后續代碼。建議在requirements.txt中固定次版本號只寫主版本和次版本避免復現時版本漂移。3. 數據準備與 Python 特征提取一份能復現的代碼路徑語音識別課程設計真正耗時的地方不是模型而是數據準備。常見的坑包括音頻采樣率不一致、標簽里有未收錄字符、訓練集和測試集劃分不合理。這一章給出完整路徑代碼可以直接抄。3.1 數據集選擇與目錄組織中文課設用 THCHS-30英文課設用 LibriSpeech 小集如果老師沒有指定數據集中文項目通常使用 THCHS-30大約 30 小時包含新聞等中文語音英文項目則常用 LibriSpeech但完整版本太大課程設計只需要下載其中一部分。為了演示訓練流程我一般會先用 10 到 15 個 wav 文件跑通全流程再逐步增加數據量。在項目里建立固定目錄結構data/ train/ # wav txt test/ # wav txt vocab.txttrain 目錄下每個音頻對應一個同名的.txt內容是純文本標注。這個結構的好處是文件少、邏輯直觀寫數據加載器時不需要依賴額外的標注文件格式。建議把音頻統一轉成16kHz、單聲道、16 位 PCM 的 wav統一轉采樣率用ffmpeg或librosa都可以下面代碼用torchaudio讀取后重采樣。3.2 用 torchaudio 做 log-mel 特征提取的關鍵代碼常見做法是用torchaudio.transforms.MelSpectrogram和AmplitudeToDB把波形轉成 80 維 log-mel 特征。為什么用 log-mel 而不是 MFCC因為 MFCC 做過 DCT 去相關丟掉了部分信息而深度模型更喜歡保留完整信息的譜特征。這是答辯時常被問到的點。import torch import torchaudio from torchaudio.transforms import MelSpectrogram, AmplitudeToDB SAMPLE_RATE 16000 def make_featurizer(sample_rateSAMPLE_RATE): return torch.nn.Sequential( MelSpectrogram( sample_ratesample_rate, n_fft400, win_length400, hop_length160, n_mels80, power2.0, ), AmplitudeToDB(top_db80), ) def process_wav(path, target_sr16000): waveform, sr torchaudio.load(path, normalizeTrue) if sr ! target_sr: waveform torchaudio.transforms.Resample(sr, target_sr)(waveform) if waveform.size(0) 1: waveform torch.mean(waveform, dim0, keepdimTrue) featurizer make_featurizer(target_sr) mel featurizer(waveform) # shape: (1, n_mels, time) mel mel.squeeze(0).transpose(0, 1) # (time, n_mels) # 均值方差歸一化 mel (mel - mel.mean(dim0, keepdimTrue)) / (mel.std(dim0, keepdimTrue) 1e-5) return mel邏輯說明MelSpectrogram參數中n_fft400對應 16kHz 下 25ms 的窗長hop_length160對應 10ms 幀移n_mels80是濾波器組數量。AmplitudeToDB將功率譜轉為 log 尺度。torchaudio.load會歸一化到 [-1, 1]重采樣和均值通道處理都是為了統一輸入。輸出形狀是(time, n_mels)模型輸入的 batch 需要在外部補一維。參數可調的地方也值得寫進文檔如果顯存不足可以把n_mels降到 40但識別效果可能明顯下降如果音頻很長訓練時需要對特征做隨機裁剪或分 chunk否則 batch 內 padding 后計算量很大。3.3 數據加載器與字符表映射注意 CTC 的輸入長度約束數據加載器要同時輸出特征序列和標簽序列以及每個音頻的原始長度。CTC 損失要求每個 batch 內按最長長度 padding并傳入input_lengths和target_lengths。下面是一個collate_fn的常見實現from torch.utils.data import Dataset, DataLoader # vocab.txt 每行一個字符第一行是空格 with open(data/vocab.txt, encodingutf-8) as f: chars [line.rstrip(\n) for line in f] char2idx {c: i 1 for i, c in enumerate(chars)} # 0 留給 CTC blank idx2char {i 1: c for i, c in enumerate(chars)} def text_to_int(text): return [char2idx[c] for c in text if c in char2idx] class ASRDataset(Dataset): def __init__(self, wav_list): self.wav_list wav_list def __len__(self): return len(self.wav_list) def __getitem__(self, idx): wav_path self.wav_list[idx] text_path wav_path.replace(.wav, .txt) with open(text_path, encodingutf-8) as f: text f.read().strip() mel process_wav(wav_path) label torch.tensor(text_to_int(text), dtypetorch.long) return mel, label def collate_fn(batch): mels, labels zip(*batch) order sorted(range(len(mels)), keylambda i: mels[i].size(0), reverseTrue) mels [mels[i] for i in order] labels [labels[i] for i in order] feats_padded torch.nn.utils.rnn.pad_sequence(mels, batch_firstTrue) input_lengths torch.tensor([m.size(0) for m in mels], dtypetorch.long) labels_concat torch.cat(labels) target_lengths torch.tensor([len(l) for l in labels], dtypetorch.long) return feats_padded, labels_concat, input_lengths, target_lengths邏輯說明text_to_int只保留 vocab 中存在的字符避免訓練時出現未知索引。collate_fn先按特征長度排序再通過pad_sequence把不同長度特征補齊到 batch 最長維度。標簽沒有 padding而是拼成一個一維張量配合target_lengths給 CTC 使用。這點和普通分類任務很不一樣是容易寫錯的地方。注意這里的process_wav在__getitem__里調用如果數據量大每個 epoch 都要重復做特征提取很慢。更高效的做法是提前把特征保存成.npy訓練時直接加載。課程設計規模小可以先跑通再優化。4. 從零搭建深度學習模型與訓練循環CNN BiGRU CTC模型部分要兼顧“結構簡潔”和“答辯有料”。我不贊成在課程設計里直接復制一個幾百層的預訓練模型因為你很難在文檔里解釋每個模塊的作用。下面這個迷你模型在普通 CPU 上也能訓練若干輪適合作為源碼核心。4.1 模型結構為什么是 CNN 前端 BiGRU CTC語音特征依然是二維序列時間步相關性明顯。CNN 前端的作用是降采樣和提取局部特征把輸入從(B, T, 80)變成(B, T, 128)BiGRU 在時間軸上建模上下文輸出每個幀對字符集合的概率分布最后 CTC 損失解決“幀數比字符數多得多”的對齊問題。這里選 BiGRU 而不是 LSTM原因是參數更少、訓練更快對課程設計來說足夠。選 CTC 而不是注意力編碼-解碼是因為 CTC 實現簡單不依賴外部語言模型訓練穩定且對短文本課程設計項目友好。下面是一個完整的模型定義import torch import torch.nn as nn class SmallASR(nn.Module): def __init__(self, n_mels80, n_classesNone, hidden256): super().__init__() if n_classes is None: n_classes len(chars) 1 # 0 留給 CTC blank self.cnn nn.Sequential( nn.Conv2d(1, 32, kernel_size3, stride(2, 1), padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.Conv2d(32, 64, kernel_size3, stride(1, 1), padding1), nn.BatchNorm2d(64), nn.ReLU(), ) self.gru nn.GRU( input_size64 * n_mels, hidden_sizehidden, num_layers2, batch_firstTrue, bidirectionalTrue, dropout0.3, ) self.proj nn.Linear(hidden * 2, n_classes) def forward(self, x): # x: (B, T, n_mels) x x.unsqueeze(1) # (B, 1, T, n_mels) x self.cnn(x) # (B, C, T/2, n_mels) b, c, t, f x.size() x x.permute(0, 2, 1, 3).reshape(b, t, c * f) x, _ self.gru(x) logits self.proj(x) # (B, T/2, n_classes) return nn.functional.log_softmax(logits, dim-1)邏輯說明第一個卷積的stride(2, 1)表示只在時間維做下采樣避免在頻率維上損失特征輸入長度會從 T 變為約T/2。所以后續計算out_lengths時也要對應減半。bidirectionalTrue使 GRU 輸出維度是hidden*2因此proj輸入是hidden*2。log_softmax配合 CTC 的nn.CTCLoss使用避免重復求 log。注意n_classes的默認值依賴第 3 章的chars全局變量。實際提交時最好把SmallASR(n_mels80, n_classeslen(chars)1)寫在train.py里讓依賴關系看得更清楚。4.2 訓練循環代碼損失計算、學習率衰減和梯度裁剪訓練腳本的核心代碼如下可以直接放進train.py。為了演示默認使用 CPU如果 GPU 可用自行加model.to(cuda)并把數據搬到cuda即可。import torch.optim as optim model SmallASR() optimizer optim.Adam(model.parameters(), lr1e-3, weight_decay1e-5) criterion nn.CTCLoss(blank0, zero_infinityTrue) scheduler optim.lr_scheduler.ReduceLROnPlateau(optimizer, factor0.5, patience2) for epoch in range(30): model.train() total_loss 0.0 for mels, labels_concat, input_lengths, target_lengths in train_loader: logits model(mels) # (B, T_out, C) out_lengths (input_lengths 1) // 2 # 時間維下采樣 2 倍 loss criterion( logits.transpose(0, 1), labels_concat, out_lengths, target_lengths, ) optimizer.zero_grad() loss.backward() nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step() total_loss loss.item() avg_loss total_loss / len(train_loader) scheduler.step(avg_loss) print(fepoch {epoch:02d} loss {avg_loss:.3f})邏輯說明nn.CTCLoss的第一個輸入要求形狀是(T, B, C)所以把logits交換前兩維。blank0表示字符表第 0 個索引是空白符號而char2idx從 1 開始所以不會沖突。out_lengths如果直接// 2奇數長度會少一幀用(input_lengths 1) // 2更安全。梯度裁剪設成5.0是為了防止 BiGRU 在長序列上梯度爆炸。訓練超參數可以直接做成表格放進文檔超參數建議值說明lr1e-3配合 ReduceLROnPlateau 動態下降batch_size8~16太大顯存不夠太小訓練慢hidden256雙向 GRU 實際維度為 512dropout0.3在兩層 GRU 之間生效epoch20~50小數據集 30 輪左右足夠gradient clip5.0避免梯度爆炸4.3 訓練中常見坑以及“先過擬合再調參”策略常見坑有三個。第一個是數據長度 padding 后模型可能對 pad 部分產生輸出但zero_infinityTrue只能避免損失為 NaN最好還是在數據準備時把每個 batch 內音頻時長控制在接近范圍。第二個是學習率過大會導致loss變成 NaN特別是使用 float16 時建議先關閉混合精度。第三個是過擬合課程設計數據量小訓練輪次多后 CER 反而上升所以需要保存驗證集上損失最小的 checkpoint。我一般會先把一個 batch 訓練 5 輪確認 loss 能下降再全量訓練。這樣可以快速排查模型構造和數據加載問題而不是花半小時等第一次 epoch 結束。如果訓練一輪 loss 完全不變優先檢查input_lengths和模型的輸出長度是否匹配再檢查字符表里是否混入了不可見字符。5. 給源碼和文檔加上“高分緩沖”推理驗證、指標表和可復現清單到這里核心代碼已經具備。最后一步是把項目做成老師看一眼就知道是認真完成的程度。這個階段不是錦上添花而是分數分水嶺。很多課程設計的實現效果一般但文檔組織清楚、驗證路徑完整分數反而更高。5.1 用貪心解碼快速驗證模型幾行代碼就能聽到效果加載訓練好的模型對單個 wav 文件推理最常見做法是貪心解碼每幀取概率最大的字符再把相鄰重復字符合并去掉空白符號。在eval.py中需要先調用process_wav得到特征再經過模型得到輸出最后解碼。下面只給出解碼函數其余調用代碼可以直接放在if __name__ __main__:里。def greedy_decode(model_output, idx2char, blank0): # model_output: (T, C) preds model_output.argmax(dim-1) tokens [] prev blank for p in preds.tolist(): if p ! prev and p ! blank: tokens.append(p) prev p return .join(idx2char[t] for t in tokens)邏輯說明連幀相同的字符只保留一個這是 CTC 對齊的基本規則。如果同一個字符中間隔著 blank則保留兩次。比如預測序列[blank, 1, 1, blank, 1]合并后輸出idx[1] idx[1]。注意idx2char里沒有 blank需要跳過。5.2 計算 CER/WER 并放進文檔說明文檔里只寫“識別率 90%”很空最好給出一個可以復現的eval.py腳本。計算 CER 可以用jieba分字或直接用編輯距離但更標準的是用python-Levenshtein庫的distance函數。import Levenshtein def cer(ref, hyp): if len(ref) 0: return 1.0 if len(hyp) 0 else 0.0 return Levenshtein.distance(ref, hyp) / len(ref)參數說明ref是標注文本hyp是模型輸出二者都按字符或字切分。如果ref為空字符串需要單獨處理否則除零。最后在文檔中放一張指標表格樣本文件名、標注文本、識別文本、CER并給出平均 CER。5.3 文檔說明里必須有但不是每個人都寫的“可復現清單”高分代碼的文檔通常包含環境版本、數據集來源、目錄結構、模型結構圖、訓練超參數、實驗對比、失敗記錄。其中最容易拿分的是“失敗記錄”比如“第一次用 MFCC 特征訓練 10 輪不收斂改用 log-mel 后 loss 下降正常”。這比堆砌理論更有說服力。另一個實用技巧是在項目根目錄放一個test_audio文件夾里面放 3 到 5 個短音頻和對應的輸出文本截圖讓老師不用自己訓練就能看到效果。如果能在文檔開頭用三句話寫清楚“這個項目訓練了多少數據、用了什么模型、最終 CER 是多少”遠程評審時可能第一印象就完全不同。本文還有配套的精品資源點擊獲取 基于PyTorch的語音識別課程設計：從特征提取到CTC模型完整實現
簡介這是一份面向課程設計、畢業設計及期末大作業的深度學習語音識別Python源碼與配套文檔說明適合具備Python和神經網絡基礎、需要完整工程參考的學生。壓縮包共八十八個文件以三十個Python腳本、二十九個txt文本、二十二個lst列表為主還包含docx手冊、配置文件和模型參數文件整體約三十四點六一MB目錄按聲學模型、語言模型清晰劃分。聲學模型提供GRU-CTC、DFCNN、CNN-CTC等多種實現可通過cnn_with_full.py直接訓練覆蓋常見中文語音識別方案語言模型引入CBHG結構與聲學模型配合形成完整識別鏈路。文檔說明涵蓋網絡結構、數據準備與訓練流程配合源碼可快速掌握從特征提取到模型評估的各個環節。目前已有二百一十三人學習下載適合用于課程報告、畢設答辯或作為二次開發的基礎框架。1. 這門課設的難點不在模型而在“能跑完、能復現、能答辯”每年到課程設計提交季總有人卡在語音識別上。基于深度學習的語音識別項目表面上是訓練一個模型實際上分數來自三件事源碼能在本地直接跑起來文檔能把設計思路和實驗結果說清楚答辯時能回答“為什么選這個網絡”而不是“代碼是不是你自己寫的”。很多拿到高分代碼的同學并沒有用最前沿的網絡而是把數據處理、特征提取、模型訓練、評估這條鏈路做得完整且可復現讓老師十次運行有十次同樣結果。下面就從任務定義、數據處理、模型訓練到文檔組織把一套可落地的方案拆開講。需要選題、復現或改進現有代碼的人都能直接照著走。課程設計里的語音識別不需要做到產品級核心目標是證明你對深度學習、語音信號處理和 Python 工程能力都有基本掌控所以后續方案都按“能在一臺普通 GPU 或 CPU 上從頭訓練完且結果穩定復現”來設計。2. 把語音識別拆成聲音到文本的鏈路為什么課程設計首選端到端模型語音識別ASR的任務是給定一段音頻輸出對應的文字序列。從信號層面看音頻是采樣點組成的一維波形采樣率常見為 16kHz也就是說每秒鐘有 16000 個數值點。直接把這些原始采樣點塞給神經網絡很難學因為語音中的關鍵信息分布在幾十毫秒級別的頻譜變化里所以第一步需要做特征提取。2.1 輸入特征與輸出粒度從波形到字符概率一個典型的基線流程是先把波形按幀劃分每幀 25ms、幀移 10ms對每幀做短時傅里葉變換得到功率譜再映射到 Mel 刻度上得到 log-mel 特征也叫 Fbank。這個特征逐幀排列模型在時間軸上看到的是“幀序列”輸出端則是一個字符集合比如英文 26 個字母加空格中文則是常用漢字與空格。最后通過解碼把逐幀概率變成字符串。評價指標一般看 CER字符錯誤率或 WER詞錯誤率計算公式是編輯距離除以參考文本長度。課程設計通常報告 CER 就夠了因為它跟字符表直接綁定。這個指標要放在文檔正文里老師一眼能看到量化結果。2.2 課程設計選端到端模型而不是 HMM/GMM 的四個理由傳統語音識別是一條很長的流水線GMM 建模聲學單元、HMM 建模時序狀態轉換、語言模型做解碼。要把這套東西在短時間里跑通需要 Kaldi 或者 HTK 這類工具調試復雜度高短板往往在環境依賴上。基于深度學習的端到端模型把整條鏈路簡化為“音頻特征到文本序列”的映射常見做法是 CTCConnectionist Temporal Classification配合 RNN 或 Transformer。選它有四個理由模型結構簡單純 PyTorch 就能實現不依賴 Kaldi/HTK 這類體系。訓練目標直接就是字符序列不需要強制對齊免去大量標注細節。老師的答辯問題通常圍繞網絡結構和損失函數展開這些知識在深度學習課上剛剛學過。在小型課程設計數據集上效果和泛化能力足夠演示。我一般會建議使用“CNN 前端 BiGRU CTC”的結構而不是一上來就上 Transformer。CNN 負責下采樣和局部特征BiGRU 建模長時序CTC 避開了幀級別對齊的標注成本。這樣組合在文檔里容易展開回答網絡選取問題時也能說得清楚。2.3 現成源碼和框架怎么選ESPnet/WeNet/Kaldi 與自建基線的取舍如果時間緊張有人會直接找開源的語音識別源碼包改一改提交比如 ESPnet 或 WeNet。這種做法不算錯但風險在于代碼量太大文檔說明說不清核心邏輯答辯時很容易被問到“這個模塊在哪個文件”。另一個極端是用 Kaldi但它的 shell 腳本和工具鏈已經和深度學習課程設計的要求脫節。我建議的路線是參考 WeNet 或 ESPnet 的數據處理思路但用 PyTorch 實現一個迷你版。自己寫的源碼哪怕只有幾百行也很容易在文檔里講清“輸入張量形狀、輸出張量形狀、損失怎么算”。下表給出幾個選項的對比方案代碼量訓練資源能否快速講清適合課設Kaldi 流水線大高難不太適合ESPnet / WeNet很大較高難時間多可參考自建 PyTorch 迷你模型小低容易推薦2.4 環境準備先把 Python 版本和依賴固定下來課程設計源碼提交后老師不一定在自己電腦上復現但文檔里要給出明確的環境說明。建議在項目根目錄放一個requirements.txt并注明所用 Python 版本。常見的做法是 Python 3.8 或 3.10依賴包含 torch、torchaudio、librosa、numpy、pandas、matplotlib、soundfile。安裝命令如下pip install torch torchaudio pip install librosa soundfile pandas matplotlibtorch和torchaudio版本必須匹配否則torchaudio.load可能報算子不兼容錯誤如果使用 CPU 環境torch會自動選擇 CPU 版本不影響后續代碼。建議在requirements.txt中固定次版本號只寫主版本和次版本避免復現時版本漂移。3. 數據準備與 Python 特征提取一份能復現的代碼路徑語音識別課程設計真正耗時的地方不是模型而是數據準備。常見的坑包括音頻采樣率不一致、標簽里有未收錄字符、訓練集和測試集劃分不合理。這一章給出完整路徑代碼可以直接抄。3.1 數據集選擇與目錄組織中文課設用 THCHS-30英文課設用 LibriSpeech 小集如果老師沒有指定數據集中文項目通常使用 THCHS-30大約 30 小時包含新聞等中文語音英文項目則常用 LibriSpeech但完整版本太大課程設計只需要下載其中一部分。為了演示訓練流程我一般會先用 10 到 15 個 wav 文件跑通全流程再逐步增加數據量。在項目里建立固定目錄結構data/ train/ # wav txt test/ # wav txt vocab.txttrain 目錄下每個音頻對應一個同名的.txt內容是純文本標注。這個結構的好處是文件少、邏輯直觀寫數據加載器時不需要依賴額外的標注文件格式。建議把音頻統一轉成16kHz、單聲道、16 位 PCM 的 wav統一轉采樣率用ffmpeg或librosa都可以下面代碼用torchaudio讀取后重采樣。3.2 用 torchaudio 做 log-mel 特征提取的關鍵代碼常見做法是用torchaudio.transforms.MelSpectrogram和AmplitudeToDB把波形轉成 80 維 log-mel 特征。為什么用 log-mel 而不是 MFCC因為 MFCC 做過 DCT 去相關丟掉了部分信息而深度模型更喜歡保留完整信息的譜特征。這是答辯時常被問到的點。import torch import torchaudio from torchaudio.transforms import MelSpectrogram, AmplitudeToDB SAMPLE_RATE 16000 def make_featurizer(sample_rateSAMPLE_RATE): return torch.nn.Sequential( MelSpectrogram( sample_ratesample_rate, n_fft400, win_length400, hop_length160, n_mels80, power2.0, ), AmplitudeToDB(top_db80), ) def process_wav(path, target_sr16000): waveform, sr torchaudio.load(path, normalizeTrue) if sr ! target_sr: waveform torchaudio.transforms.Resample(sr, target_sr)(waveform) if waveform.size(0) 1: waveform torch.mean(waveform, dim0, keepdimTrue) featurizer make_featurizer(target_sr) mel featurizer(waveform) # shape: (1, n_mels, time) mel mel.squeeze(0).transpose(0, 1) # (time, n_mels) # 均值方差歸一化 mel (mel - mel.mean(dim0, keepdimTrue)) / (mel.std(dim0, keepdimTrue) 1e-5) return mel邏輯說明MelSpectrogram參數中n_fft400對應 16kHz 下 25ms 的窗長hop_length160對應 10ms 幀移n_mels80是濾波器組數量。AmplitudeToDB將功率譜轉為 log 尺度。torchaudio.load會歸一化到 [-1, 1]重采樣和均值通道處理都是為了統一輸入。輸出形狀是(time, n_mels)模型輸入的 batch 需要在外部補一維。參數可調的地方也值得寫進文檔如果顯存不足可以把n_mels降到 40但識別效果可能明顯下降如果音頻很長訓練時需要對特征做隨機裁剪或分 chunk否則 batch 內 padding 后計算量很大。3.3 數據加載器與字符表映射注意 CTC 的輸入長度約束數據加載器要同時輸出特征序列和標簽序列以及每個音頻的原始長度。CTC 損失要求每個 batch 內按最長長度 padding并傳入input_lengths和target_lengths。下面是一個collate_fn的常見實現from torch.utils.data import Dataset, DataLoader # vocab.txt 每行一個字符第一行是空格 with open(data/vocab.txt, encodingutf-8) as f: chars [line.rstrip(\n) for line in f] char2idx {c: i 1 for i, c in enumerate(chars)} # 0 留給 CTC blank idx2char {i 1: c for i, c in enumerate(chars)} def text_to_int(text): return [char2idx[c] for c in text if c in char2idx] class ASRDataset(Dataset): def __init__(self, wav_list): self.wav_list wav_list def __len__(self): return len(self.wav_list) def __getitem__(self, idx): wav_path self.wav_list[idx] text_path wav_path.replace(.wav, .txt) with open(text_path, encodingutf-8) as f: text f.read().strip() mel process_wav(wav_path) label torch.tensor(text_to_int(text), dtypetorch.long) return mel, label def collate_fn(batch): mels, labels zip(*batch) order sorted(range(len(mels)), keylambda i: mels[i].size(0), reverseTrue) mels [mels[i] for i in order] labels [labels[i] for i in order] feats_padded torch.nn.utils.rnn.pad_sequence(mels, batch_firstTrue) input_lengths torch.tensor([m.size(0) for m in mels], dtypetorch.long) labels_concat torch.cat(labels) target_lengths torch.tensor([len(l) for l in labels], dtypetorch.long) return feats_padded, labels_concat, input_lengths, target_lengths邏輯說明text_to_int只保留 vocab 中存在的字符避免訓練時出現未知索引。collate_fn先按特征長度排序再通過pad_sequence把不同長度特征補齊到 batch 最長維度。標簽沒有 padding而是拼成一個一維張量配合target_lengths給 CTC 使用。這點和普通分類任務很不一樣是容易寫錯的地方。注意這里的process_wav在__getitem__里調用如果數據量大每個 epoch 都要重復做特征提取很慢。更高效的做法是提前把特征保存成.npy訓練時直接加載。課程設計規模小可以先跑通再優化。4. 從零搭建深度學習模型與訓練循環CNN BiGRU CTC模型部分要兼顧“結構簡潔”和“答辯有料”。我不贊成在課程設計里直接復制一個幾百層的預訓練模型因為你很難在文檔里解釋每個模塊的作用。下面這個迷你模型在普通 CPU 上也能訓練若干輪適合作為源碼核心。4.1 模型結構為什么是 CNN 前端 BiGRU CTC語音特征依然是二維序列時間步相關性明顯。CNN 前端的作用是降采樣和提取局部特征把輸入從(B, T, 80)變成(B, T, 128)BiGRU 在時間軸上建模上下文輸出每個幀對字符集合的概率分布最后 CTC 損失解決“幀數比字符數多得多”的對齊問題。這里選 BiGRU 而不是 LSTM原因是參數更少、訓練更快對課程設計來說足夠。選 CTC 而不是注意力編碼-解碼是因為 CTC 實現簡單不依賴外部語言模型訓練穩定且對短文本課程設計項目友好。下面是一個完整的模型定義import torch import torch.nn as nn class SmallASR(nn.Module): def __init__(self, n_mels80, n_classesNone, hidden256): super().__init__() if n_classes is None: n_classes len(chars) 1 # 0 留給 CTC blank self.cnn nn.Sequential( nn.Conv2d(1, 32, kernel_size3, stride(2, 1), padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.Conv2d(32, 64, kernel_size3, stride(1, 1), padding1), nn.BatchNorm2d(64), nn.ReLU(), ) self.gru nn.GRU( input_size64 * n_mels, hidden_sizehidden, num_layers2, batch_firstTrue, bidirectionalTrue, dropout0.3, ) self.proj nn.Linear(hidden * 2, n_classes) def forward(self, x): # x: (B, T, n_mels) x x.unsqueeze(1) # (B, 1, T, n_mels) x self.cnn(x) # (B, C, T/2, n_mels) b, c, t, f x.size() x x.permute(0, 2, 1, 3).reshape(b, t, c * f) x, _ self.gru(x) logits self.proj(x) # (B, T/2, n_classes) return nn.functional.log_softmax(logits, dim-1)邏輯說明第一個卷積的stride(2, 1)表示只在時間維做下采樣避免在頻率維上損失特征輸入長度會從 T 變為約T/2。所以后續計算out_lengths時也要對應減半。bidirectionalTrue使 GRU 輸出維度是hidden*2因此proj輸入是hidden*2。log_softmax配合 CTC 的nn.CTCLoss使用避免重復求 log。注意n_classes的默認值依賴第 3 章的chars全局變量。實際提交時最好把SmallASR(n_mels80, n_classeslen(chars)1)寫在train.py里讓依賴關系看得更清楚。4.2 訓練循環代碼損失計算、學習率衰減和梯度裁剪訓練腳本的核心代碼如下可以直接放進train.py。為了演示默認使用 CPU如果 GPU 可用自行加model.to(cuda)并把數據搬到cuda即可。import torch.optim as optim model SmallASR() optimizer optim.Adam(model.parameters(), lr1e-3, weight_decay1e-5) criterion nn.CTCLoss(blank0, zero_infinityTrue) scheduler optim.lr_scheduler.ReduceLROnPlateau(optimizer, factor0.5, patience2) for epoch in range(30): model.train() total_loss 0.0 for mels, labels_concat, input_lengths, target_lengths in train_loader: logits model(mels) # (B, T_out, C) out_lengths (input_lengths 1) // 2 # 時間維下采樣 2 倍 loss criterion( logits.transpose(0, 1), labels_concat, out_lengths, target_lengths, ) optimizer.zero_grad() loss.backward() nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step() total_loss loss.item() avg_loss total_loss / len(train_loader) scheduler.step(avg_loss) print(fepoch {epoch:02d} loss {avg_loss:.3f})邏輯說明nn.CTCLoss的第一個輸入要求形狀是(T, B, C)所以把logits交換前兩維。blank0表示字符表第 0 個索引是空白符號而char2idx從 1 開始所以不會沖突。out_lengths如果直接// 2奇數長度會少一幀用(input_lengths 1) // 2更安全。梯度裁剪設成5.0是為了防止 BiGRU 在長序列上梯度爆炸。訓練超參數可以直接做成表格放進文檔超參數建議值說明lr1e-3配合 ReduceLROnPlateau 動態下降batch_size8~16太大顯存不夠太小訓練慢hidden256雙向 GRU 實際維度為 512dropout0.3在兩層 GRU 之間生效epoch20~50小數據集 30 輪左右足夠gradient clip5.0避免梯度爆炸4.3 訓練中常見坑以及“先過擬合再調參”策略常見坑有三個。第一個是數據長度 padding 后模型可能對 pad 部分產生輸出但zero_infinityTrue只能避免損失為 NaN最好還是在數據準備時把每個 batch 內音頻時長控制在接近范圍。第二個是學習率過大會導致loss變成 NaN特別是使用 float16 時建議先關閉混合精度。第三個是過擬合課程設計數據量小訓練輪次多后 CER 反而上升所以需要保存驗證集上損失最小的 checkpoint。我一般會先把一個 batch 訓練 5 輪確認 loss 能下降再全量訓練。這樣可以快速排查模型構造和數據加載問題而不是花半小時等第一次 epoch 結束。如果訓練一輪 loss 完全不變優先檢查input_lengths和模型的輸出長度是否匹配再檢查字符表里是否混入了不可見字符。5. 給源碼和文檔加上“高分緩沖”推理驗證、指標表和可復現清單到這里核心代碼已經具備。最后一步是把項目做成老師看一眼就知道是認真完成的程度。這個階段不是錦上添花而是分數分水嶺。很多課程設計的實現效果一般但文檔組織清楚、驗證路徑完整分數反而更高。5.1 用貪心解碼快速驗證模型幾行代碼就能聽到效果加載訓練好的模型對單個 wav 文件推理最常見做法是貪心解碼每幀取概率最大的字符再把相鄰重復字符合并去掉空白符號。在eval.py中需要先調用process_wav得到特征再經過模型得到輸出最后解碼。下面只給出解碼函數其余調用代碼可以直接放在if __name__ __main__:里。def greedy_decode(model_output, idx2char, blank0): # model_output: (T, C) preds model_output.argmax(dim-1) tokens [] prev blank for p in preds.tolist(): if p ! prev and p ! blank: tokens.append(p) prev p return .join(idx2char[t] for t in tokens)邏輯說明連幀相同的字符只保留一個這是 CTC 對齊的基本規則。如果同一個字符中間隔著 blank則保留兩次。比如預測序列[blank, 1, 1, blank, 1]合并后輸出idx[1] idx[1]。注意idx2char里沒有 blank需要跳過。5.2 計算 CER/WER 并放進文檔說明文檔里只寫“識別率 90%”很空最好給出一個可以復現的eval.py腳本。計算 CER 可以用jieba分字或直接用編輯距離但更標準的是用python-Levenshtein庫的distance函數。import Levenshtein def cer(ref, hyp): if len(ref) 0: return 1.0 if len(hyp) 0 else 0.0 return Levenshtein.distance(ref, hyp) / len(ref)參數說明ref是標注文本hyp是模型輸出二者都按字符或字切分。如果ref為空字符串需要單獨處理否則除零。最后在文檔中放一張指標表格樣本文件名、標注文本、識別文本、CER并給出平均 CER。5.3 文檔說明里必須有但不是每個人都寫的“可復現清單”高分代碼的文檔通常包含環境版本、數據集來源、目錄結構、模型結構圖、訓練超參數、實驗對比、失敗記錄。其中最容易拿分的是“失敗記錄”比如“第一次用 MFCC 特征訓練 10 輪不收斂改用 log-mel 后 loss 下降正常”。這比堆砌理論更有說服力。另一個實用技巧是在項目根目錄放一個test_audio文件夾里面放 3 到 5 個短音頻和對應的輸出文本截圖讓老師不用自己訓練就能看到效果。如果能在文檔開頭用三句話寫清楚“這個項目訓練了多少數據、用了什么模型、最終 CER 是多少”遠程評審時可能第一印象就完全不同。本文還有配套的精品資源點擊獲取