簡介這是一份面向人工智能或計算機視覺方向本科畢業(yè)設(shè)計的完整算法源碼包聚焦步態(tài)識別與多目標(biāo)跨鏡頭跟蹤任務(wù)適合需要開展YOLOv5目標(biāo)檢測、DeepSORT多目標(biāo)跟蹤及GaitSet步態(tài)識別項目研究的本科生或開發(fā)者。包體共341個文件以Python腳本173個py和YAML配置52個yaml為核心輔以編譯模塊cpp/cu、文檔md/rst、模型權(quán)重pth及示例圖片等壓縮包約22.2MB目錄結(jié)構(gòu)便于直接對照學(xué)習(xí)。資源系統(tǒng)整合了YOLOv5行人檢測、DeepSORT跨幀數(shù)據(jù)關(guān)聯(lián)與GaitSet步態(tài)特征提取覆蓋模型訓(xùn)練、驗證、測試及系統(tǒng)集成流程可幫助讀者理解從視頻幀輸入到跨鏡頭身份識別的完整技術(shù)鏈路。已有458人學(xué)習(xí)下載對于希望掌握目標(biāo)檢測與行人重識別綜合應(yīng)用、完成畢業(yè)設(shè)計或競賽項目的讀者而言是一份具備工程參考價值的代碼與方案范本。1. 步態(tài)識別跨鏡頭跟蹤畢設(shè)題眼不在yolov5而在數(shù)據(jù)關(guān)聯(lián)看到這個標(biāo)題大多數(shù)人的第一反應(yīng)是“又是yolov5套殼”。但真正動手做過就知道yolov5在這個系統(tǒng)里反而是最不卡脖子的一環(huán)——它就是個成熟的人體檢測器訓(xùn)練好自己的權(quán)重輸出帶置信度的目標(biāo)框即可。步態(tài)識別和跨鏡頭跟蹤才是拉開差距的地方前者要求在無臉、低分辨率、遠(yuǎn)距離條件下靠走路姿態(tài)辨認(rèn)身份后者要求把多個攝像頭畫面里的同一個人關(guān)聯(lián)成同一條軌跡。本科畢設(shè)把這三件事串成一個完整系統(tǒng)核心難點在“檢測—特征—關(guān)聯(lián)”這條管線的數(shù)據(jù)流設(shè)計而不是單獨跑通某個模型。下文按我慣用的實現(xiàn)路徑拆開講從原理到可復(fù)跑的代碼、參數(shù)、踩坑點一次說清。適合準(zhǔn)備做畢設(shè)或想把這套技術(shù)棧落地到園區(qū)監(jiān)控、零售客流分析場景的開發(fā)者。2. 為什么是yolov5、步態(tài)特征怎么提、跨鏡頭關(guān)聯(lián)靠什么2.1 yolov5在這個系統(tǒng)里的角色邊界步態(tài)識別的研究范式通常分兩類基于模型的和基于外觀的?；谀Ｐ偷姆椒ㄐ枰茸鲎藨B(tài)估計提取骨架關(guān)鍵點再分析關(guān)節(jié)角度變化代表性方案有OpenPose加LSTM?；谕庥^的方法直接利用人體輪廓或剪影序列代表性方案是GEI步態(tài)能量圖和GaitSet。畢設(shè)場景下骨架方法對環(huán)境敏感、跨視角遷移差外觀方法更穩(wěn)。但無論哪種第一步都要先拿到“人”這就是yolov5的活。yolov5只負(fù)責(zé)檢測行人并裁剪出人體區(qū)域不負(fù)責(zé)識別身份。它的輸出結(jié)構(gòu)是[x1, y1, x2, y2, confidence, class]對后續(xù)模塊來說真正有用的信息是框的坐標(biāo)和置信度。置信度閾值設(shè)多少直接影響下游步態(tài)特征的質(zhì)量——框得太松會把背景裁進(jìn)去框得太緊會截斷腳部而步態(tài)特征恰恰對下肢輪廓最敏感。網(wǎng)絡(luò)結(jié)構(gòu)上沒有魔改的必要。我一般直接用yolov5s作為基線輸入尺寸640。如果想在邊緣設(shè)備上跑可以換成yolov5n并配合TensorRT加速如果場景里行人小、密度大再考慮yolov5m。真正需要自定義的是數(shù)據(jù)步態(tài)識別要求行人盡量完整地出現(xiàn)在框內(nèi)標(biāo)注時就要注意不要用那種只露半身的行人框。2.2 從檢測框到步態(tài)特征GEI和GaitSet怎么選拿到連續(xù)幀的行人裁剪圖后下一步是把一個步態(tài)周期的輪廓序列壓縮成身份可區(qū)分、跨視角魯棒的特征。經(jīng)典做法是構(gòu)造步態(tài)能量圖GEI。計算方式是一個步態(tài)周期內(nèi)所有二值化人體輪廓的像素均值import numpy as np import cv2 def compute_gei(contour_images): contour_images: 一個步態(tài)周期內(nèi)的二值化輪廓圖列表, 每張尺寸一致 返回: 歸一化后的 GEI 圖像 if len(contour_images) 0: raise ValueError(輪廓序列為空) # 將二值輪廓疊加并求均值 accumulated np.zeros_like(contour_images[0], dtypenp.float32) for img in contour_images: accumulated img.astype(np.float32) gei accumulated / len(contour_images) gei cv2.normalize(gei, None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8) return geiGEI的原理是把動態(tài)的行走過程壓成一張靜態(tài)圖高頻步行擺動信息被均值抹掉后留下的輪廓密度分布能反映個人的步幅、體型和擺動習(xí)慣。它的優(yōu)點是計算開銷極小一張圖就能表達(dá)一個步態(tài)周期缺點是視角變化時GEI差異很大跨視角識別準(zhǔn)確率會掉得厲害。GaitSet是2019年提出的基于集合的步態(tài)識別方法核心思想是不再對齊幀序列而是把一組無序的輪廓圖作為集合輸入讓網(wǎng)絡(luò)自己學(xué)習(xí)幀間關(guān)系。它對時長不敏感短的序列也能出特征跨視角泛化比GEI好不少。但GaitSet需要訓(xùn)練CASIA-B數(shù)據(jù)集是標(biāo)配。畢設(shè)的選擇策略我建議這樣如果精力有限、想快速跑通全流程用GEI加一個簡單的CNN分類器就夠?qū)懻撐牧巳绻非笮Ч?、能接受半個月左右的訓(xùn)練成本直接上GaitSet提取特征后續(xù)跨鏡頭匹配的準(zhǔn)確率會高一個檔次。兩者的輸出都是固定維度的特征向量GEI做法里向量來自CNN分類層前面的全連接層GaitSet做法里向量來自其集合聚合后的投影層。這個向量就是整個系統(tǒng)唯一通行證。2.3 跨鏡頭關(guān)聯(lián)的本質(zhì)是特征檢索不是軌跡預(yù)測很多人把跨鏡頭跟蹤理解成“在另一路攝像頭里繼續(xù)畫框”這是誤解。單鏡頭內(nèi)的多目標(biāo)跟蹤用DeepSORT就夠它靠卡爾曼濾波預(yù)測下一幀位置和IoU關(guān)聯(lián)。但鏡頭之間的視野不重疊時沒有運動模型可用卡爾曼濾波的預(yù)測值沒意義?？珑R頭跟蹤真正要解決的是“換了個視角后怎么知道這個人和剛才那個人是同一個”。答案是把重識別ReID的思路接進(jìn)來。流程分成兩段鏡頭內(nèi)用yolov5的檢測框做單鏡頭多目標(biāo)跟蹤標(biāo)注臨時ID這一步保證連續(xù)幀不丟ID。鏡頭間把每個目標(biāo)的歷史外觀特征整理成軌跡特征在目標(biāo)進(jìn)入新鏡頭時用特征相似度去匹配所有已有軌跡。這個設(shè)計也解釋了為什么步態(tài)特征適合這個場景——人臉在監(jiān)控里經(jīng)常不可用衣服顏色跨鏡頭會漂移身形和走路姿態(tài)是相對穩(wěn)定的線索。步態(tài)特征恰好充當(dāng)了跨鏡頭的ReID描述子。3. 拆解系統(tǒng)源碼結(jié)構(gòu)與核心模塊實現(xiàn)3.1 一個能跑的工程目錄怎么組織拿到標(biāo)題里那種壓縮包第一件事不是急著讀代碼而是先看目錄結(jié)構(gòu)判斷它的完整性。一個合格的系統(tǒng)源碼至少要有如下模塊gait_tracking_system/ ├── config/ │ ├── yolov5s.yaml # 檢測模型配置 │ ├── gait_config.yaml # 步態(tài)特征提取參數(shù) │ └── tracker_config.yaml # 跟蹤匹配參數(shù) ├── detector/ │ ├── yolov5_detector.py # yolo檢測封裝 │ └── weights/ │ └── yolov5s.pt ├── gait/ │ ├── gei_extractor.py # GEI特征提取 │ ├── gait_net.py # GaitSet或CNN分類網(wǎng)絡(luò) │ └── weights/ │ └── gait_model.pth ├── tracker/ │ ├── frame_tracker.py # 單鏡頭跟蹤(DeepSORT) │ └── cross_camera.py # 跨鏡頭特征關(guān)聯(lián) ├── data/ │ ├── raw/ # 原始視頻 │ ├── detections/ # 檢測中間結(jié)果 │ ├── trajectories/ # 軌跡特征庫 │ └── database/ # 注冊的步態(tài)庫 ├── tools/ │ ├── build_gait_db.py # 建步態(tài)注冊庫 │ └── run_demo.py # 主入口 └── requirements.txt這個結(jié)構(gòu)的核心分層很清楚detector只做檢測gait只做特征tracker只做關(guān)聯(lián)三者間通過文件或內(nèi)存隊列解耦。實際跑通時最省事的做法是yolov5檢測結(jié)果先落到內(nèi)存中的幀緩存對象步態(tài)特征提取器維護一個人體框的歷史隊列攢夠一個步態(tài)周期再計算特征tracker則接收特征做匹配。切忌用線程串行處理——檢測、特征提取和匹配的速度差異很大同步處理會讓整個系統(tǒng)幀率被最慢的模塊拖死。3.2 單鏡頭跟蹤模塊DeepSORT的實戰(zhàn)配置單鏡頭跟蹤模塊的作用是給每個目標(biāo)一個穩(wěn)定的臨時ID并為后續(xù)跨鏡頭匹配攢夠一張“軌跡特征卡”。下面這段是基于DeepSORT的實現(xiàn)骨架from deep_sort_realtime.deepsort_tracker import DeepSort def create_tracker(): 返回一個配置好的DeepSORT跟蹤器 tracker DeepSort( max_age30, # 目標(biāo)丟失后保留軌跡的最大幀數(shù) n_init3, # 連續(xù)檢測到n幀才確認(rèn)軌跡 nms_max_overlap0.7, # 同類別目標(biāo)NMS閾值 max_cosine_distance0.4, # 外觀特征匹配閾值(越小越嚴(yán)格) nn_budget100, # 每個軌跡保存的特征歷史數(shù)量 embeddermobilenet, # 外觀特征提取網(wǎng)絡(luò) halfTrue, # 半精度推理加速 bgrTrue, # 輸入為BGR格式 ) return tracker def update_tracker(tracker, detections, frame): detections: [x1, y1, w, h, confidence] 格式的列表 tracks tracker.update_tracks(detections, frameframe) confirmed [t for t in tracks if t.is_confirmed()] results [] for t in confirmed: x1, y1, x2, y2 t.to_ltrb() track_id t.track_id results.append({box: [x1, y1, x2, y2], id: track_id}) return results參數(shù)說明max_age是最容易踩坑的項。畢設(shè)演示場景里攝像頭畫面不會太密30幀夠用但如果有人遮擋較多建議調(diào)到50以上否則ID切換會非常頻繁。max_cosine_distance控制外觀匹配的松緊度調(diào)太小會頻繁斷軌調(diào)太大會把不同的人串成同一個ID。實際調(diào)參時的判斷標(biāo)準(zhǔn)很簡單——看同一ID對應(yīng)的目標(biāo)框是不是始終落在同一個人身上。DeepSORT默認(rèn)的embedder是mobilenet這個特征是通用的行人重識別特征在鏡頭內(nèi)跟蹤已經(jīng)夠用。真正需要替換成步態(tài)特征的地方是跨鏡頭匹配環(huán)節(jié)。3.3 跨鏡頭匹配步態(tài)向量怎么進(jìn)向量檢索庫跨鏡頭匹配模塊是整個系統(tǒng)的決策層。同一鏡頭內(nèi)臨時ID由DeepSORT維護當(dāng)目標(biāo)離開畫面再出現(xiàn)在另一個鏡頭時它的臨時ID已經(jīng)丟失這時需要把成員的步態(tài)特征與全庫比對。實現(xiàn)上最直接的方式是用faiss建立向量索引import faiss import numpy as np class GaitVectorDB: def __init__(self, dim256): self.dim dim # 步態(tài)特征維度取決于網(wǎng)絡(luò)輸出 self.index faiss.IndexFlatIP(dim) # 內(nèi)積索引等價于余弦相似度 self.id_map [] # 向量在索引中的位置 - 全局人物ID def register(self, gait_feat, global_id): 注冊一個新軌跡或更新已有軌跡 # 歸一化后內(nèi)積就是余弦相似度 feat gait_feat / (np.linalg.norm(gait_feat) 1e-6) self.index.add(feat.reshape(1, -1).astype(float32)) self.id_map.append(global_id) def query(self, gait_feat, top_k1, threshold0.6): 用當(dāng)前步態(tài)特征檢索最相似的歷史軌跡 feat gait_feat / (np.linalg.norm(gait_feat) 1e-6) distances, indices self.index.search( feat.reshape(1, -1).astype(float32), top_k ) results [] for dist, idx in zip(distances[0], indices[0]): if idx -1: # faiss返回-1表示沒有有效結(jié)果 continue if dist threshold: continue results.append({global_id: self.id_map[idx], score: float(dist)}) return results這套實現(xiàn)的鏈路是系統(tǒng)為每個出現(xiàn)的目標(biāo)維護一個“步態(tài)特征滑動平均”不是每幀都更新索引而是每隔N幀或每完成一個步態(tài)周期做一次增量注冊。否則同一個目標(biāo)的多個近重復(fù)特征會把索引撐滿還會讓檢索結(jié)果偏向最近采集到的樣本。閾值threshold的作用很關(guān)鍵。步態(tài)特征不像人臉特征那樣有天然的清晰決策邊界跨視角帶來的類內(nèi)差異經(jīng)常比類間差異還大。我的經(jīng)驗值是先采集幾個行人各20段步態(tài)序列畫出TPR-FPR曲線再定閾值而不是拍腦袋給0.6。實際操作中0.5到0.7的區(qū)間比較常見。3.4 主流程串聯(lián)檢測、周期攢幀、特征提取、關(guān)聯(lián)的任務(wù)調(diào)度整個系統(tǒng)的執(zhí)行邏輯可以理解為一條四級流水線。下面這個偽代碼描述了它的時序關(guān)系frame_queues {} # 按檢測框的track_id緩存歷史裁剪圖 def pipeline_step(frame, global_frame_id): dets detector.detect(frame) # 1. yolo檢測 track_results tracker.update(dets) # 2. 單鏡頭跟蹤 gait_results [] for trk in track_results: tid trk[id] x1, y1, x2, y2 trk[box] cropped frame[y1:y2, x1:x2] frame_queues.setdefault(tid, []).append(cropped) # 攢夠一個步態(tài)周期的幀數(shù)后提取步態(tài)特征 if len(frame_queues[tid]) period_frames: gei compute_gei(frame_queues[tid]) feat gait_net.extract(gei) # 特征向量 frame_queues[tid] [] # 清空緩存 # 鏡頭內(nèi)目標(biāo)先注冊到庫如果是鏡頭切換后的新目標(biāo)走查詢 if trk[is_new_in_camera]: matches gait_db.query(feat) if matches: global_id matches[0][global_id] else: global_id generate_new_global_id() gait_db.register(feat, global_id) gait_results.append({tid: tid, global_id: global_id}) return track_results, gait_results注意period_frames的取值一個步態(tài)周期大約是0.8到1.4秒假設(shè)攝像頭幀率25fps就是20到35幀。如果攢幀數(shù)太少輪廓序列不足以覆蓋完整周期GEI會缺下半身的動態(tài)信息太長則實時性差。畢設(shè)演示場景建議取25幀攝像頭幀率不足15fps時可放寬到15幀。這條流水線里最容易暴露問題的環(huán)節(jié)是隊列管理。某個目標(biāo)中途出畫面再回來DeepSORT可能分配新track_id導(dǎo)致緩存隊列直接斷掉。穩(wěn)妥做法是緩存超過period_frames * 2后仍未積滿就丟棄避免內(nèi)存被長時間駐留的無效輪廓占滿。4. 構(gòu)建自己的步態(tài)注冊庫與跨視角評估4.1 從多視角視頻素材里自動切分步態(tài)序列步態(tài)識別系統(tǒng)的評估不能只在單一視角上說話跨視角效果才是這塊技術(shù)的真實能力邊界。我常用的流程是準(zhǔn)備兩路以上不同方位的攝像頭畫面拍同一批人正常來回走動的視頻。然后寫個自動腳本完成“檢測—跟幀—按Track ID切分序列”的批處理# 對每段視頻逐幀跑yolov5檢測, 輸出每幀的檢測結(jié)果到JSON文件 python tools/batch_detect.py \ --source ./data/raw/cam1.mp4 \ --weights ./detector/weights/yolov5s.pt \ --output ./data/detections/cam1.json \ --conf 0.35 python tools/batch_detect.py \ --source ./data/raw/cam2.mp4 \ --weights ./detector/weights/yolov5s.pt \ --output ./data/detections/cam2.json \ --conf 0.35然后是構(gòu)建注冊庫的環(huán)節(jié)。一張軌跡特征卡應(yīng)該包含全局人物ID、入鏡時間段、出入鏡的鏡頭編號、這段軌跡的平均步態(tài)向量。注冊庫既可以在線隨系統(tǒng)運行增量更新也可以離線預(yù)先構(gòu)建。畢設(shè)答辯時最穩(wěn)的演示策略是事先建好庫再把攝像頭對著測試者走一圈做實時查詢這樣效果是確定性的不會被現(xiàn)場光照搞砸。4.2 跨鏡頭匹配效果的兩個硬指標(biāo)代碼跑通到效果驗證這段一定要有兩類量化指標(biāo)來支撐論文結(jié)論。第一類叫CMC Rank-1指查詢目標(biāo)在最相似的前1個候選里命中正確身份的概率。第二類叫mAP關(guān)注檢索列表整體的排序質(zhì)量。有一個快速驗證方法def evaluate_rank1(query_feats, query_ids, gallery_feats, gallery_ids): query_feats: 待查詢的步態(tài)特征 gallery_feats: 注冊庫中的步態(tài)特征 返回Rank-1準(zhǔn)確率 correct 0 for qf, qid in zip(query_feats, query_ids): similarity np.dot(qf / np.linalg.norm(qf), (gallery_feats / np.linalg.norm(gallery_feats, axis1)).T) ranked np.argsort(similarity)[::-1] if gallery_ids[ranked[0]] qid: correct 1 return correct / len(query_feats)這個腳本展示的評估邏輯和嚴(yán)謹(jǐn)?shù)念I(lǐng)域論文評估思路是一致的查詢集和注冊集是分開的并且查詢集的采集時間段和注冊集不能重疊。如果拿同一段視頻里的幀既當(dāng)注冊又當(dāng)查詢Rank-1會虛高論文審稿或答辯老師一眼就能看穿。4.3 一個必須提前處理的坑注冊庫里的同一個人有多段軌跡真實場景下同一個人可能在鏡頭A出現(xiàn)三次鏡頭B出現(xiàn)兩次每次都是一段獨立軌跡。如果直接把這五段軌跡都注冊成五個獨立向量后續(xù)查詢時返回的前5個結(jié)果全是這個人看起來Rank-5很高但Rank-1反而可能因為多段軌跡間的視角差異被拉低。處理慣例是按全局ID做特征平均或同時保留多段軌跡但做重排融合。我通常的做法是每段軌跡的特征進(jìn)入獨立的向量槽位查詢階段取Top-K結(jié)果后按全局ID投票。這比簡單平均更魯棒——不同行走方向的特征平均可能產(chǎn)生沒有實際語義的模糊向量。5. 三招把畢設(shè)從“能跑”做到“能講”5.1 給跨鏡頭跟蹤畫一條時序軌跡拓?fù)鋱D演示環(huán)節(jié)最大的痛點不是系統(tǒng)跑不起來而是觀眾看不出“跨鏡頭”到底發(fā)生在哪里。我建議單獨寫一個可視化的輸出模式以路網(wǎng)拓?fù)鋱D的形式在界面上畫出每個鏡頭的覆蓋區(qū)域當(dāng)全局ID出現(xiàn)在某個鏡頭下時點亮對應(yīng)區(qū)域并顯示一條從上一個鏡頭到當(dāng)前鏡頭的連線。實現(xiàn)方式是在run_demo.py里維護一個{global_id: [camera_id, timestamp]}字典每幀根據(jù)匹配結(jié)果更新畫布上的軌跡連線。這個可視化既不打亂識別主鏈路又能把多鏡頭間的關(guān)聯(lián)直觀呈現(xiàn)出來。5.2 防御性設(shè)計步態(tài)特征提取超時的降級策略在線運行中經(jīng)常出現(xiàn)這種情況某個人走到鏡頭前只露了半身攢不夠一個步態(tài)周期就離開了畫面。此時若強行計算GEI會有大量背景噪聲參與均值計算結(jié)果完全不可用。不設(shè)保護的話這個臟特征會直接進(jìn)注冊庫污染后續(xù)所有查詢。我的做法是給特征提取加一道質(zhì)量門檻輪廓面積占比低于15%的幀直接丟棄有效幀數(shù)不足周期60%的序列拒絕生成特征。這個過濾條件寫在特征進(jìn)入向量庫之前def feature_gate(contour_area_ratios): contour_area_ratios: 當(dāng)前周期內(nèi)每幀人物框占整個畫面面積的比例 返回True表示特征質(zhì)量可信 if len(contour_area_ratios) 15: return False valid [r for r in contour_area_ratios if r 0.15] return len(valid) / len(contour_area_ratios) 0.6這個保護邏輯在論文里可以包裝成“光照與遮擋條件下的魯棒決策機制”實際操作層面則避免了大量臟數(shù)據(jù)拉低整個系統(tǒng)的檢索精度。5.3 調(diào)跟蹤參數(shù)的一個順口判斷先調(diào)yolov5的conf再動DeepSORT很多人在跨鏡頭跟蹤效果不好時拼命調(diào)DeepSORT參數(shù)方向反了。實際排查順序應(yīng)該從上游到下游先看yolov5的conf和iou是否讓行人框穩(wěn)定且完整。置信度閾值降到0.25后漏檢率還高就得重新標(biāo)注訓(xùn)練了這時候下游調(diào)參毫無意義。確認(rèn)檢測框沒問題后再檢查單個鏡頭內(nèi)同一人的track_id切換頻率如果切換頻繁就加max_age最后才動跨鏡頭的threshold。按這個順序排查半小時內(nèi)基本能定位到問題模塊。本文還有配套的精品資源點擊獲取