機(jī)器學(xué)習(xí)與人工智能從迷茫到入門我的全套實(shí)戰(zhàn)路線與避坑記錄我最早接觸機(jī)器學(xué)習(xí)和人工智能是在讀研期間被導(dǎo)師扔給了一篇英文論文讓我把它“跑通”。當(dāng)時我連訓(xùn)練集和測試集都沒分清更別提梯度下降、特征工程這些概念。后來自己啃完了吳恩達(dá)和李宏毅的課、翻過周志華的《機(jī)器學(xué)習(xí)》、在頭歌這類實(shí)訓(xùn)平臺上刷過題又做了好幾個完整的課程大作業(yè)和真實(shí)項(xiàng)目才慢慢摸清楚這條路到底該怎么走。這篇文章不是什么權(quán)威指南而是把我在“機(jī)器學(xué)習(xí)與人工智能”這條路上踩過的坑、驗(yàn)證過的方法、迭代出來的習(xí)慣按一套完整的學(xué)習(xí)與實(shí)操流程整理出來。無論你是正在準(zhǔn)備機(jī)器學(xué)習(xí)期末復(fù)習(xí)的大學(xué)生還是要完成人工智能大作業(yè)的初學(xué)者或是想轉(zhuǎn)行做算法工程師的職場人這部分內(nèi)容都能幫你少走很多彎路。我會盡量把每個關(guān)鍵選擇背后的“為什么”也講清楚而不是只丟給你一堆步驟和命令。1. 先別急著買課學(xué)機(jī)器學(xué)習(xí)前必須想明白的三件事很多人學(xué)機(jī)器學(xué)習(xí)的第一個錯誤不是選錯了教材而是根本不知道自己為什么要學(xué)。收藏了一堆“機(jī)器學(xué)習(xí)入門”帖子買了網(wǎng)課屯了書三周之后發(fā)現(xiàn)看視頻時全會、一動手就廢最后默默放棄。與其這樣不如在動手之前先花半小時把下面三件事想清楚。1.1 想清楚目標(biāo)你是要“會調(diào)庫”還是“懂原理”機(jī)器學(xué)習(xí)這條路上有兩條明顯不同的路徑。一條是偏應(yīng)用的比如你在做數(shù)據(jù)分析、后端開發(fā)、產(chǎn)品設(shè)計(jì)想用機(jī)器學(xué)習(xí)解決實(shí)際業(yè)務(wù)問題那你的核心目標(biāo)是“知道有什么算法、什么時候該用什么、怎么把模型跑起來”。另一條是偏原理的比如你想做算法工程師、考研深造、搞科研那你就得啃數(shù)學(xué)推導(dǎo)、讀原始論文、理解算法底層的收斂邏輯。我見過不少人的挫敗感都源于目標(biāo)錯位明明只想快速做個分類器卻去硬啃SVM對偶推導(dǎo)明明想做研究卻只顧著調(diào) sklearn 的參數(shù)而忽略了模型背后的偏差方差權(quán)衡。所以學(xué)之前請先誠實(shí)回答自己你到底要解決什么問題這個問題的答案直接決定了你的學(xué)習(xí)深度和時間分配。1.2 數(shù)學(xué)門檻的真實(shí)水平梯度、假設(shè)、概率到底要掌握多深很多初學(xué)者一看到“機(jī)器學(xué)習(xí)中的梯度”“機(jī)器學(xué)習(xí)三大假設(shè)”就頭皮發(fā)麻覺得數(shù)學(xué)不好不配學(xué)。其實(shí)用大白話講梯度下降就是“在山上摸著坡向下走每一步都朝最陡的方向邁直到走到山谷”。你不需要一開始就精通矩陣求導(dǎo)但至少要理解這個“下山”的邏輯。同樣機(jī)器學(xué)習(xí)三大假設(shè)——樣本獨(dú)立同分布、數(shù)據(jù)具有可學(xué)習(xí)性、損失函數(shù)可優(yōu)化——聽起來學(xué)術(shù)其實(shí)就是在回答三個實(shí)際問題你手里的數(shù)據(jù)能不能代表真實(shí)場景數(shù)據(jù)里到底有沒有可提取的規(guī)律模型訓(xùn)練時找最優(yōu)解的方向是不是清晰的我后面會專門用一小節(jié)講樹模型為什么常被問“是否假設(shè)獨(dú)立同分布”這里先提醒你數(shù)學(xué)是工具而不是門檻邊做邊補(bǔ)比先把數(shù)學(xué)書啃完再動手效率高得多。1.3 先跑通一個最小閉環(huán)再回來補(bǔ)理論我始終認(rèn)為新手學(xué)習(xí)機(jī)器學(xué)習(xí)的正確起點(diǎn)不是“學(xué)理論”而是“跑通一個最小閉環(huán)”。什么叫最小閉環(huán)就是拿到一份現(xiàn)成的數(shù)據(jù)集用幾行代碼訓(xùn)練一個模型然后在測試集上看到準(zhǔn)確率數(shù)字跳出來。哪怕你根本不理解背后的細(xì)節(jié)這個反饋過程也會給你足夠的動力。我的建議是找一個經(jīng)典的鳶尾花數(shù)據(jù)集或者房價預(yù)測數(shù)據(jù)集用 sklearn 跑一遍邏輯回歸或決策樹從加載數(shù)據(jù)到訓(xùn)練模型再到評估準(zhǔn)確率把整個流程走通。這個過程最好控制在90分鐘內(nèi)。跑通之后你再回頭學(xué)理論每學(xué)一個概念都能對應(yīng)到剛才代碼里的某個環(huán)節(jié)記憶會深刻得多。2. 教材與網(wǎng)課的使用順序吳恩達(dá)、李宏毅、周志華到底怎么看網(wǎng)上的“機(jī)器學(xué)習(xí)入門”帖子幾乎都會提到三份經(jīng)典資源吳恩達(dá)《機(jī)器學(xué)習(xí)》、李宏毅《機(jī)器學(xué)習(xí)》、周志華《機(jī)器學(xué)習(xí)》就是大家說的“西瓜書”。但很少有人說明白這三份資源到底怎么用、按什么順序用。我見過太多人同時打開三門課結(jié)果一門都沒看完。2.1 三份經(jīng)典資源各有側(cè)重先說吳恩達(dá)的機(jī)器學(xué)習(xí)課程。它最大的優(yōu)點(diǎn)是“直覺優(yōu)先、數(shù)學(xué)友好”幾乎所有核心概念都會先用生活化例子解釋一遍再給出必要的公式。特別適合零基礎(chǔ)的人在第一遍建立整體認(rèn)知尤其是線性回歸、邏輯回歸、神經(jīng)網(wǎng)絡(luò)、推薦系統(tǒng)這些核心內(nèi)容。李宏毅的機(jī)器學(xué)習(xí)課程則更貼近工業(yè)界實(shí)現(xiàn)課程更新快很多內(nèi)容直接跟最新論文接軌而且中文授課的細(xì)節(jié)表達(dá)對中文學(xué)習(xí)者很友好。適合在你已經(jīng)理解了基礎(chǔ)概念之后用它來補(bǔ)充“模型到底怎么訓(xùn)練”“優(yōu)化器怎么選”“Transformer 為什么有效”這類偏實(shí)操和前沿的內(nèi)容。周志華的《機(jī)器學(xué)習(xí)》西瓜書則是標(biāo)準(zhǔn)的理論教材覆蓋全面、推導(dǎo)嚴(yán)謹(jǐn)適合做字典式查閱和深度學(xué)習(xí)時精讀。但我不建議新手一上來就精讀它很容易被數(shù)學(xué)勸退。它的正確用法是當(dāng)你對某個算法有了直覺認(rèn)知但不清楚細(xì)節(jié)時去翻對應(yīng)章節(jié)把公式和推導(dǎo)補(bǔ)上。2.2 一套親測有效的“三遍學(xué)習(xí)法”我自己的學(xué)習(xí)路徑可以總結(jié)為“三遍學(xué)習(xí)法”。第一遍是快通只跟吳恩達(dá)的課程大框架不看公式細(xì)節(jié)目標(biāo)是把機(jī)器學(xué)習(xí)涉及的核心名詞過擬合、交叉驗(yàn)證、正則化、梯度下降、分類器都混個臉熟。這一遍大概兩到三周就能搞定。第二遍是跟做看李宏毅的課程每講完一個模型就自己用 sklearn 或者 PyTorch 復(fù)現(xiàn)一遍然后把課程里的作業(yè)題寫一遍。這個階段的核心動作是“親手寫代碼”只有動手才會發(fā)現(xiàn)你以為自己懂了其實(shí)根本沒懂。第三遍是按需回查開始做課程大作業(yè)或真實(shí)項(xiàng)目時遇到不懂的算法細(xì)節(jié)就去翻西瓜書的對應(yīng)章節(jié)或者回看課程里對應(yīng)的講解。這個階段不需要再從頭看視頻而是像查字典一樣精準(zhǔn)定位問題。2.3 為什么我不建議同時追三個課程很多初學(xué)者喜歡一次打開三門課美其名曰“多管齊下”“查漏補(bǔ)缺”。但實(shí)際體驗(yàn)是每門課講同一個概念的切入角度不同、符號體系不同、作業(yè)方式不同信息過載會讓你在第一個月就陷入“我都學(xué)了但啥也沒學(xué)到”的錯覺。正確的姿勢是像我上面說的那樣按階段推進(jìn)先吳恩達(dá)打底再李宏毅拔高最后用西瓜書查漏。這三者之間不是并列關(guān)系而是遞進(jìn)關(guān)系。有一句話特別適合形容這個過程第一遍是學(xué)走路第二遍是學(xué)跑步第三遍是學(xué)怎么跑更遠(yuǎn)。3. 環(huán)境搭建不是玄學(xué)本地環(huán)境與在線實(shí)訓(xùn)平臺的排錯實(shí)錄機(jī)器學(xué)習(xí)課程學(xué)習(xí)中最勸退的往往不是算法本身而是環(huán)境。我記得第一次在本地跑一個 sklearn 課程案例時光是處理 Python 版本和依賴包沖突就花了一個下午。后來又在頭歌這類在線實(shí)訓(xùn)平臺上做題遇到過各種“本地好好的、一提交就報(bào)錯”的情況。這一節(jié)我來把排錯思路完整講透。3.1 一次環(huán)境裝到一半就崩的完整復(fù)盤有一次我在給一個新項(xiàng)目搭建環(huán)境按教程裝好 Anaconda然后直接用 pip 安裝了一個依賴庫結(jié)果import時報(bào)錯說找不到模塊。我第一反應(yīng)是安裝失敗但反復(fù)重裝都沒用。后來我用which python看了一眼才發(fā)現(xiàn)命令行的 Python 根本不是 Anaconda 里的 Python而是系統(tǒng)自帶的另一個路徑。也就是說我用 pip 裝的三方庫裝到了系統(tǒng) Python 的site-packages里而代碼執(zhí)行時用的是 Anaconda 的環(huán)境自然找不到。這個問題的本質(zhì)是“解釋器路徑不一致”。排查鏈路很簡單# 1. 確認(rèn)當(dāng)前正在使用的 python 路徑 which python # 2. 確認(rèn)當(dāng)前 python 版本 python --version # 3. 查看當(dāng)前環(huán)境里已經(jīng)裝了哪些包 pip list # 4. 查看 python 會從哪些目錄查找 import 的模塊 python -c import sys; print(sys.path)如果是用 conda 管理的環(huán)境還有一個非常高效的辦法直接重建一個干凈的虛擬環(huán)境再把依賴一次性裝好conda create -n my_ml_env python3.10 conda activate my_ml_env pip install numpy pandas scikit-learn matplotlib jupyter虛擬環(huán)境的最大價值是讓你不同項(xiàng)目之間的依賴互相隔離。這個習(xí)慣雖然前期看起來麻煩但到了你要同時維護(hù)課程作業(yè)和真實(shí)項(xiàng)目的時候就知道有多救命了。3.2 在線實(shí)訓(xùn)平臺的“跑不通”通用排查思路在頭歌這類平臺做“機(jī)器學(xué)習(xí)”實(shí)訓(xùn)題目時最常見的尷尬是本地代碼跑得好好的一貼到平臺就報(bào)錯或者判零分。經(jīng)過反復(fù)排查我把這類問題歸納為五個原因按出現(xiàn)頻率排序輸入輸出格式不匹配。平臺評測通常有嚴(yán)格的輸入輸出要求多打一個空格、少換一次行、輸出順序不對都會判錯。解決方案是仔細(xì)看題目給的樣例格式最好自己構(gòu)造幾個邊界數(shù)據(jù)自測。隱藏測試用例不通過。你在本地看到的測試數(shù)據(jù)只是公開樣例平臺后臺可能用完全不同的數(shù)據(jù)跑你的函數(shù)。這種問題一般出在“代碼過擬合樣例”上比如硬編碼了答案或者對特定數(shù)據(jù)形狀做了假設(shè)。依賴版本不一致。平臺環(huán)境的 numpy、pandas 版本可能跟你本地不一樣某些接口行為不同。解決辦法是盡量只用常用接口不要用某個特定版本才有的新特性。代碼里有打印信息。有時候你為了調(diào)試在函數(shù)里加了print()如果平臺是按輸出文本精確匹配的這些多余內(nèi)容就會導(dǎo)致判錯。提交前把調(diào)試打印全部刪掉。入口函數(shù)簽名不對。平臺會把你的代碼作為模塊導(dǎo)入然后調(diào)用固定名字的函數(shù)。如果函數(shù)名、參數(shù)個數(shù)、返回值類型和題目要求不一致哪怕內(nèi)部邏輯全對也過不了。我自己的習(xí)慣是每次提交前先做一個“沙盒自測”把題目的樣例輸入喂給我的函數(shù)對比輸出是否一字不差。這個簡單的動作能在提交前攔截掉至少一半的報(bào)錯。3.3 養(yǎng)成“可復(fù)現(xiàn)環(huán)境”的好習(xí)慣環(huán)境問題不只是課程作業(yè)時期的困擾做真實(shí)項(xiàng)目時更嚴(yán)重。我踩過最痛的坑是一個項(xiàng)目做完三個月后回跑代碼時發(fā)現(xiàn)某個依賴庫升級了接口變了原本能跑通的代碼直接報(bào)錯。所以現(xiàn)在每完成一個項(xiàng)目我一定會生成一份環(huán)境清單放進(jìn)項(xiàng)目目錄# conda 環(huán)境導(dǎo)出 conda env export environment.yml # 純 pip 依賴清單更適合普通項(xiàng)目 pip freeze requirements.txt有了這份清單任何人包括三個月后的自己都能用一條命令還原當(dāng)時的環(huán)境。這件事在交“人工智能大作業(yè)”時也特別加分——老師如果想復(fù)現(xiàn)你的結(jié)果不用在你的電腦上折騰半天。4. 期末復(fù)習(xí)與大作業(yè)的實(shí)戰(zhàn)打法把概念變成得分點(diǎn)“機(jī)器學(xué)習(xí)期末復(fù)習(xí)”和“人工智能大作業(yè)”是熱詞榜上常年不下的兩個坎。很多人的問題是平時課也聽了代碼也能跑但一到復(fù)習(xí)和寫報(bào)告時腦子里就一團(tuán)漿糊。其實(shí)問題在于你學(xué)的概念沒有一個統(tǒng)一的邏輯框架把它們串起來。4.1 高頻考點(diǎn)背后的統(tǒng)一邏輯先說機(jī)器學(xué)習(xí)期末復(fù)習(xí)。我梳理過大量期末卷子發(fā)現(xiàn)高頻考點(diǎn)——機(jī)器學(xué)習(xí)三大假設(shè)、機(jī)器學(xué)習(xí)中的梯度、機(jī)器學(xué)習(xí)分類器——并不是孤立的它們背后有一條主干邏輯線。以圖像貓狗識別這類分類任務(wù)為例你的目標(biāo)是學(xué)到一個“分類器”也就是一個從輸入到類別的函數(shù)它本質(zhì)上是在高維空間畫了一條“決策邊界”。問題在于這條邊界怎么找答案是通過優(yōu)化一個損失函數(shù)而梯度就是損失函數(shù)上升的方向所以梯度下降就是“沿著梯度的反方向一步步更新參數(shù)”。那憑什么你認(rèn)為從訓(xùn)練數(shù)據(jù)里學(xué)到的邊界能用在新的數(shù)據(jù)上這背后的前提就是“獨(dú)立同分布假設(shè)”——測試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)來自同一個分布。樹模型之所以也會被問到“是否假設(shè)獨(dú)立同分布”是因?yàn)闆Q策樹的分裂基于訓(xùn)練集的經(jīng)驗(yàn)分布如果未來測試數(shù)據(jù)的分布和訓(xùn)練集差異太大樹的泛化能力就會崩塌。所以“樹模型不依賴數(shù)據(jù)線性關(guān)系但同樣依賴數(shù)據(jù)分布的一致性”才是這個問題的完整答案。復(fù)習(xí)時建議你畫一張圖把“數(shù)據(jù)—模型—損失—優(yōu)化—評估”這條鏈路放在中間然后把所有概念掛到這個鏈路上。你會發(fā)現(xiàn)很多概念根本不用死記硬背因?yàn)樗鼈儽緛砭褪菑耐粋€問題里派生出來的。4.2 課程設(shè)計(jì)的通用框架從問題到報(bào)告人工智能大作業(yè)的評分通常一半看代碼能不能跑一半看報(bào)告寫得像不像“思考過程”。我總結(jié)了一套通用的作業(yè)框架第一步是選題。不要貪大不要試圖“做一個抖音推薦系統(tǒng)”這種題目。選擇一個數(shù)據(jù)規(guī)模適中、問題定義清晰的任務(wù)即可比如“基于 UCI 數(shù)據(jù)集的貸款違約預(yù)測”或“基于經(jīng)典數(shù)據(jù)集的圖像分類”。題目越小越容易做好。第二步是準(zhǔn)備數(shù)據(jù)。先去 Kaggle 或 UCI 找一份現(xiàn)成的數(shù)據(jù)集把訓(xùn)練集和測試集劃分好然后做基本的探索性數(shù)據(jù)分析看數(shù)據(jù)形狀、缺失值、類別分布、特征類型。第三步是跑 baseline。用最簡單的邏輯回歸或決策樹先跑通整個流程得到第一版準(zhǔn)確率。很多時候 baseline 已經(jīng)能拿到70%~80%的效果。第四步是迭代模型。嘗試換更復(fù)雜的模型比如隨機(jī)森林、SVM或者做一點(diǎn)特征工程比如特征縮放、類別編碼。每換一個模型都把準(zhǔn)確率記錄到一張表里。第五步是寫報(bào)告。記住報(bào)告的核心不是“我用了什么模型”而是“我遇到了什么問題、怎么排查、最后選了什么方案”。老師更想看到你的思考過程。比如你可以寫“邏輯回歸在測試集上準(zhǔn)確率只有72%我將原始特征做了標(biāo)準(zhǔn)化之后提升到79%隨后嘗試了隨機(jī)森林進(jìn)一步提升到85%但出現(xiàn)過擬合跡象于是加了正則項(xiàng)……”這個框架對任何“機(jī)器學(xué)習(xí)模型 數(shù)據(jù)集 報(bào)告”類型的作業(yè)都適用。4.3 期末掛科率最高的4個概念誤區(qū)我?guī)秃芏鄬W(xué)弟學(xué)妹看過考前筆記發(fā)現(xiàn)大家反復(fù)搞混的其實(shí)就四個點(diǎn)過擬合和欠擬合分不清。過擬合是“把訓(xùn)練數(shù)據(jù)的個性當(dāng)成了共性”表現(xiàn)是訓(xùn)練集準(zhǔn)確率極高、測試集低欠擬合是“模型太簡單連訓(xùn)練集的規(guī)律都學(xué)不進(jìn)去”表現(xiàn)是訓(xùn)練集和測試集準(zhǔn)確率都低。監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)的邊界。最簡單的區(qū)分有沒有標(biāo)注好的標(biāo)簽有標(biāo)簽用標(biāo)簽的是監(jiān)督?jīng)]有標(biāo)簽自己聚類的是無監(jiān)督通過獎勵信號學(xué)習(xí)決策策略的是強(qiáng)化。分類和回歸的關(guān)系。分類輸出的是離散的類別貓還是狗回歸輸出的是連續(xù)的數(shù)值房價多少。邏輯回歸雖然名字里有“回歸”但因?yàn)檩敵鼋?jīng)過了 Sigmoid 函數(shù)變成概率實(shí)際用于分類。準(zhǔn)確率在類別不均衡數(shù)據(jù)里的陷阱。如果一個數(shù)據(jù)集中95%是負(fù)類那一個“永遠(yuǎn)預(yù)測為負(fù)類”的模型也能拿到95%的準(zhǔn)確率但它幾乎沒用。這時候要看精確率、召回率和 F1 值。這四個誤區(qū)幾乎是每年考試的“送分但人人丟分”的題。你只要把它們的本質(zhì)理解透了期末復(fù)習(xí)的基本盤就穩(wěn)了。5. 從作業(yè)到項(xiàng)目數(shù)據(jù)偏差與AI偏見的工作流課程作業(yè)做好之后很多人會想挑戰(zhàn)一個真實(shí)項(xiàng)目。這時候你會發(fā)現(xiàn)真實(shí)世界的機(jī)器學(xué)習(xí)問題跟課程里的“干凈數(shù)據(jù)集”完全不同其中最典型的一個就是“人工智能偏見”。5.1 真實(shí)項(xiàng)目的第一步不是選模型而是讀懂業(yè)務(wù)我在做一個招聘簡歷初篩項(xiàng)目時最開始只顧著選模型調(diào)參數(shù)結(jié)果模型在歷史數(shù)據(jù)上準(zhǔn)確率非常高但在現(xiàn)實(shí)中推薦出來的人選卻幾乎全是某一類背景的候選人。這其實(shí)不是算法的錯而是訓(xùn)練數(shù)據(jù)里就帶著偏見。“人工智能偏見”這個詞聽起來很宏大但在工程層面它就是一個真實(shí)存在的問題模型從訓(xùn)練數(shù)據(jù)里學(xué)會了數(shù)據(jù)本身就有的有偏模式。比如如果歷史十年里某公司的技術(shù)崗基本都是年輕男性那么模型在“學(xué)習(xí)”時就會把“年輕”“男性”這類特征跟“優(yōu)秀候選人”掛鉤即便我們根本沒有把性別作為輸入特征它仍然可以通過畢業(yè)院校、工作年限等特征間接實(shí)現(xiàn)同樣的判斷。所以真實(shí)項(xiàng)目的第一步永遠(yuǎn)不是打開 notebook 寫代碼而是先跟業(yè)務(wù)方把問題聊清楚。你要知道這個數(shù)據(jù)是怎么生成的、樣本選擇有沒有偏向、標(biāo)簽的定義是否合理。這些背景信息對后續(xù)建模的影響遠(yuǎn)大于你最終選的是樹模型還是神經(jīng)網(wǎng)絡(luò)。5.2 分類器選型什么時候用樹模型什么時候用線性模型當(dāng)業(yè)務(wù)問題清楚了、數(shù)據(jù)也準(zhǔn)備好之后才輪到模型選型。熱詞里有“機(jī)器學(xué)習(xí)算法 svm rf”說明很多人糾結(jié)于算法之間的選擇。我的經(jīng)驗(yàn)法則如下表模型類型適用場景優(yōu)點(diǎn)缺點(diǎn)線性回歸/邏輯回歸特征和目標(biāo)近似線性、維度較高、可解釋性要求高訓(xùn)練快、可解釋性強(qiáng)無法捕捉復(fù)雜非線性關(guān)系決策樹數(shù)據(jù)有清晰的規(guī)則模式、需要可視化解釋直觀、不需要特征縮放容易過擬合、不穩(wěn)定隨機(jī)森林表格數(shù)據(jù)、特征較多、需要較高準(zhǔn)確率抗過擬合能力強(qiáng)、能給出特征重要性可解釋性比單棵樹弱、訓(xùn)練較慢SVM小樣本、高維、且邊界相對清晰在小數(shù)據(jù)集上表現(xiàn)優(yōu)秀、核技巧強(qiáng)大大數(shù)據(jù)集訓(xùn)練慢、調(diào)參復(fù)雜梯度提升樹GBDT/XGBoost表格數(shù)據(jù)的“默認(rèn)王者”、競賽標(biāo)配精度高、能處理復(fù)雜非線性關(guān)系容易過擬合、需要謹(jǐn)慎調(diào)參真實(shí)項(xiàng)目里我的起步策略永遠(yuǎn)是先用邏輯回歸做 baseline再用決策樹看有沒有明顯的非線性結(jié)構(gòu)最后上隨機(jī)森林或 XGBoost 做精度提升。這個策略成本低、速度快、能讓你快速判斷數(shù)據(jù)集的難度。5.3 偏見怎么發(fā)現(xiàn)和修看特征重要性與群體指標(biāo)發(fā)現(xiàn)偏見最直接的方法不是看特征列表里有沒有性別、年齡這種敏感字段因?yàn)榧词鼓惆阉鼈儎h了偏見也可能通過“代理變量”混進(jìn)模型。正確的做法是兩步走。第一步看特征重要性。訓(xùn)練完模型后輸出隨機(jī)森林的feature_importances_或者線性模型的系數(shù)。如果你發(fā)現(xiàn)某個看起來跟業(yè)務(wù)無關(guān)、但跟敏感屬性強(qiáng)相關(guān)的特征排名異常靠前就要警惕了。比如在簡歷篩選場景里“是否參加過某些線下競賽”的表面特征很可能就是地域和背景的代理變量。第二步按敏感屬性分組評估。把測試數(shù)據(jù)按某個敏感維度性別、年齡段等分成不同子集然后分別計(jì)算每個子集的準(zhǔn)確率、精確率、召回率。如果某個群體上的指標(biāo)顯著低于其他群體那即使整體準(zhǔn)確率看起來不錯模型也仍然存在公平性問題。這也是“人工智能偏見”從道德討論變成工程指標(biāo)的關(guān)鍵動作偏見不是口號而是一組可以度量的數(shù)字。修偏見的方法有很多比如在訓(xùn)練時給某些樣本加權(quán)、對敏感特征做對抗性去除、或者用后處理調(diào)整閾值。但我的經(jīng)驗(yàn)是最有效的其實(shí)是在數(shù)據(jù)收集階段就提高多樣性然后在評估階段把“群體指標(biāo)一致性”寫進(jìn)驗(yàn)收標(biāo)準(zhǔn)里。這樣雖不能100%消滅偏見但至少不會讓它悄悄地溜進(jìn)線上系統(tǒng)。6. 學(xué)完第一學(xué)期之后數(shù)據(jù)集、認(rèn)證與持續(xù)進(jìn)階如果你已經(jīng)看完了網(wǎng)課、寫完了大作業(yè)、跑通了幾個項(xiàng)目那恭喜你你已經(jīng)走出了最難的一段路。接下來要面對的問題是下一步往哪走6.1 免費(fèi)公開數(shù)據(jù)集去哪找機(jī)器學(xué)習(xí)算法的練習(xí)離不開數(shù)據(jù)集。熱詞里“機(jī)器學(xué)習(xí)免費(fèi)公開數(shù)據(jù)集”也是很多人想找的資源這里我把常用的渠道整理一下Kaggle全球最大的數(shù)據(jù)科學(xué)社區(qū)數(shù)據(jù)集豐富還自帶在線 Notebook 環(huán)境新手可以直接在瀏覽器里跑代碼。適合練手和比賽實(shí)戰(zhàn)。UCI Machine Learning Repository老牌數(shù)據(jù)集倉庫很多教材使用的經(jīng)典數(shù)據(jù)集都來自這里適合做課程作業(yè)和教學(xué)實(shí)驗(yàn)。阿里天池國內(nèi)的數(shù)據(jù)競賽平臺數(shù)據(jù)集更貼近國內(nèi)業(yè)務(wù)場景中文說明完善適合想鍛煉真實(shí)業(yè)務(wù)建模能力的同學(xué)。sklearn 內(nèi)置數(shù)據(jù)集iris、boston注意 boston 已廢棄、diabetes、digits 等適合快速測試代碼、學(xué)習(xí) API。政府開放數(shù)據(jù)平臺很多國家的政府和城市都開放了大量統(tǒng)計(jì)數(shù)據(jù)適合做與社會經(jīng)濟(jì)相關(guān)的機(jī)器學(xué)習(xí)項(xiàng)目。找數(shù)據(jù)集有一個基本原則先明確任務(wù)再找數(shù)據(jù)而不是先下載一堆數(shù)據(jù)再想能做什么模型。后者很容易讓你在數(shù)據(jù)清洗上消耗掉所有熱情。6.2 “人工智能訓(xùn)練師”這類職業(yè)認(rèn)證值得考嗎熱詞里反復(fù)出現(xiàn)“人工智能訓(xùn)練師”“人工智能訓(xùn)練師三級”可見很多人也在關(guān)注職業(yè)認(rèn)證。我的態(tài)度是如果是為了以考促學(xué)值得如果指望證書當(dāng)敲門磚意義有限。人工智能訓(xùn)練師這類認(rèn)證涵蓋的往往是數(shù)據(jù)標(biāo)注規(guī)范、模型訓(xùn)練流程、模型評估方法、AI工具鏈?zhǔn)褂玫葘?shí)際工作技能。備考過程確實(shí)能逼著你系統(tǒng)地把基礎(chǔ)過一遍尤其是對非科班出身的人是一個不錯的梳理框架。但到了真正求職時大多數(shù)面試官更愿意看你做過什么項(xiàng)目、遇到什么問題、怎么解決的而不是考了什么證書。如果你時間有限我建議把精力優(yōu)先放在“項(xiàng)目作品集”上一個真實(shí)完整的機(jī)器學(xué)習(xí)項(xiàng)目比十個證書都有說服力。證書可以作為你學(xué)習(xí)成果的副產(chǎn)品而不是學(xué)習(xí)的主要目的。6.3 下一步進(jìn)階的幾條路線過了基礎(chǔ)階段之后通常有三條常見的進(jìn)階路線。第一條是往深度學(xué)習(xí)方向走。用 PyTorch 或 TensorFlow 學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)、卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)、Transformer。這條路適合想進(jìn)入圖像、語音、NLP 領(lǐng)域的人。基礎(chǔ)是先把機(jī)器學(xué)習(xí)里的損失、優(yōu)化、正則化這些思想理解透因?yàn)樗鼈兏疃葘W(xué)習(xí)的底層邏輯完全一致。第二條是往機(jī)器學(xué)習(xí)工程化方向走。學(xué)習(xí)模型如何部署到線上、如何做特征存儲、如何監(jiān)控模型效果、如何做 A/B 測試。這條路適合想從事機(jī)器學(xué)習(xí)平臺、推薦系統(tǒng)后端等工作的人。核心是把“能跑通的 notebook”變成“穩(wěn)定運(yùn)行的線上服務(wù)”。第三條是深耕業(yè)務(wù)方向。比如你在金融、醫(yī)療、電商行業(yè)可以結(jié)合領(lǐng)域知識做更精準(zhǔn)的預(yù)測或決策模型。這類人往往不是算法最厲害的但最懂業(yè)務(wù)問題反而在實(shí)際工作中價值最大。我的建議是三條路不沖突但要有主次。絕大多數(shù)人的最優(yōu)策略是以深度學(xué)習(xí)為技術(shù)基礎(chǔ)順手掌握最基本的工程部署知識同時深耕自己所在行業(yè)的業(yè)務(wù)場景。如果你不確定自己適合哪條路先去 Kaggle 或天池打一場新手賽。比賽會在短時間內(nèi)強(qiáng)迫你走完“數(shù)據(jù)分析—特征工程—模型迭代—結(jié)果評估”的全流程。打一場正式比賽比刷十門課的學(xué)習(xí)效率都高。最后我再分享一個我自己的小習(xí)慣每完成一個項(xiàng)目或者一個階段的學(xué)習(xí)我都會寫一篇簡短的項(xiàng)目復(fù)盤包括“我做了什么”“踩了什么坑”“如果重來一次會怎么做”。這些東西放在三個月后回看就是你最寶貴的經(jīng)驗(yàn)庫。機(jī)器學(xué)習(xí)和人工智能這條路很長但只要方向上不跑偏每一步都是積累。希望這篇經(jīng)驗(yàn)貼能讓你少踩幾個坑更快看到屬于自己的那個準(zhǔn)確率數(shù)字蹦出來。