06 - 點解一定要識分「偏差」同「變異」?
訓練模型就似煮餸:有時煮極都冇味(唔識抓重點)=偏差高;有時又落鹽落到咸死人,每鑊味道都唔同(捉唔到穩定火候)=變異高。如果唔先搞清楚自己係邊種問題,隨時愈調愈離譜。
🤔 乜嘢係「偏差」(Bias)?
偏差高即係模型太簡單,學唔到資料入面嘅規律。好似攞直尺描山路,點描都唔貼。
實例:
用單一閾值分「日頭/夜晚」相,黃昏就全軍覆沒。
只睇 5 日均線估股價,少少波動即錯晒。
智能灑水器淨係睇濕度,唔理溫度,結果植物照樣旱死。
特徵:訓練誤差同驗證誤差都高 → 欠擬合。
🤯 乜嘢係「變異」(Variance)?
變異高即係模型太複雜,連雜聲都背埋。考試轉少少字眼就唔識答——過擬合。
實例:
二手車模型將「賣家ID」都當特徵,去到新平台即刻跪低。
語音助手只喺 office 錄音,去到咖啡店噪音即聽唔明。
醫療 影像模型記咗掃描機型號,換新機就診斷錯。
特徵:訓練誤差好低,驗證誤差高好多。
🏥 快速分辦三步曲
情況 | Train Error | Val Error | 結論 |
欠擬合 | 高 | 高 | 偏差問題 |
過擬合 | 低 | 高 | 變異問題 |
兩邊都高 | 高 | 高 | 數據/模型設計有事 |
兩邊都低 | 低 | 低 | OK,可上線 |
畫 Learning Curve,睇兩條線收斂情況,更直觀。
👩🏫 人類表現=黃金基準
如果係貓狗分類、車牌識別呢類人都做得到嘅任務, 先測人類錯誤率做 baseline。
人眼 1% 錯,模型 8% → 仲有排進步。
人眼本身 15% 錯,模型 13% → 已經好叻,唔好強人所難。
🛠️ 偏差高,點打救?
模型升級:邏輯迴歸 → MLP → CNN/Transformer。
加特徵:時間序列加週期、圖像加顏色直方圖。
訓練耐啲:可能仲未收斂。
減正則化:λ 太大會綁手綁腳。
模型集成:Boosting 多個弱模型拼勁。
🔧 變異高,點收斂?
加正則化:L2、Dropout、Early-Stopping。
擴資料:Data Augmentation 或再爬多啲樣本。
縮模型:少啲層、少啲神經元。
Bagging 投票:多模型平均沖淡噪聲。
踢走無用特徵:減少「背書」空間。
✨ 驗證集 = 模擬考卷
即時feedback:調一個參數,分數即見高低。
方向指標:偏差定變異,一望就知。
提前曝光風險:Val 分布同 Production 相差遠,早啲見光死好過出街丟架。
📚 真實案例
串流平台推薦‣ 偏差高:淨睇片長度 → 準確率低。‣ 解法:加演員、導演、協同過濾。
信用卡風控‣ 變異高:節日大額刷卡全當詐騙。‣ 解法:拉歷史數據三年,加「節假日」特徵。
城市交通燈‣ 偏差高:淨睇車流量,忽略行人 → 尖峰期照塞。‣ 解法:加行人感測器,時間窗 CNN 重新訓練。
✅ 收尾
偏差高:模型笨 → 加料加深學。
變異高:模型「太醒」 → 綁沙包、加樣本、縮身形。
驗證集係你嘅鏡子,日日照一照先知靚唔靚。
識得調火候,先煮得出穩定又好味嘅 AI 菜式!🍳🚀