【AI驅(qū)動(dòng)】 背景 部分依賴圖（PDP）是解釋機(jī)器學(xué)習(xí)模型的一種工具，用來(lái)展示模型的預(yù)測(cè)結(jié)果如何隨著一個(gè)或多個(gè)特征值的變化而變化，對(duì)于單個(gè)特征，PDP通過(guò)保持其他特征不變，分析該特征取值的不同對(duì)模型輸出的影響，幫助理解模型如何利用該特征進(jìn)行決策，s...

【AI驅(qū)動(dòng)】 背景 在數(shù)據(jù)分析領(lǐng)域，高維數(shù)據(jù)的可視化是一個(gè)關(guān)鍵挑戰(zhàn)，而主成分分析（PCA）作為一種常用的數(shù)據(jù)降維工具，提供了將高維數(shù)據(jù)映射到二維或三維空間的直觀方式，本次復(fù)現(xiàn)基于Nature 發(fā)表的一項(xiàng)研究中的圖 a 部分 重點(diǎn)是展示...

【AI驅(qū)動(dòng)】 背景 隨著機(jī)器學(xué)習(xí)技術(shù)的廣泛應(yīng)用，如何對(duì)多個(gè)模型的性能進(jìn)行科學(xué)合理的可視化評(píng)價(jià)也是一個(gè)有趣的問(wèn)題，除了常規(guī)的評(píng)價(jià)指標(biāo)可視化外，泰勒?qǐng)D可作為一種融合相關(guān)性與標(biāo)準(zhǔn)差的可視化工具，能夠?yàn)槲覀兲峁┲庇^的模型比較方式 在此...

【AI驅(qū)動(dòng)】 背景 在機(jī)器學(xué)習(xí)中，SHAP是一種用于解釋模型輸出的重要工具，它為每個(gè)特征分配一個(gè)貢獻(xiàn)值，表示該特征對(duì)模型輸出的影響程度，然而，對(duì)于多分類模型與二分類模型的SHAP分析，存在一些重要區(qū)別——多分類模型的 SHAP 分析為每個(gè)類別單獨(dú)計(jì)...

【AI驅(qū)動(dòng)】 背景 在機(jī)器學(xué)習(xí)的世界里，模型解釋性工具的需求日益增加，SHAP作為一種強(qiáng)大的解釋方法，已被廣泛應(yīng)用，然而，許多初學(xué)者和甚至一些經(jīng)驗(yàn)豐富的從業(yè)者可能會(huì)忽略一個(gè)關(guān)鍵的細(xì)節(jié)，shap值的解釋需要根據(jù)模型性質(zhì)來(lái)進(jìn)行解釋如：不同模型在SHAP...

【AI驅(qū)動(dòng)】 異常值檢驗(yàn)方案 在數(shù)據(jù)分析和統(tǒng)計(jì)學(xué)中，異常值（也稱為離群值）是指與數(shù)據(jù)集中其他數(shù)據(jù)點(diǎn)顯著不同的觀測(cè)值，識(shí)別和處理異常值對(duì)于確保數(shù)據(jù)分析的準(zhǔn)確性非常重要，常見(jiàn)的異常值檢驗(yàn)方法包括以下幾種： 箱線圖法 箱線圖是一種基于分位數(shù)...

【AI驅(qū)動(dòng)】 背景 在機(jī)器學(xué)習(xí)模型的開(kāi)發(fā)過(guò)程中，特征選擇與組合是提升模型性能的關(guān)鍵一步，本文將探討如何通過(guò)特征貢獻(xiàn)度來(lái)優(yōu)化模型的精度，利用XGBoost模型、SHAP值分析和蒙特卡洛模擬等技術(shù)，揭示不同特征組合下模型的表現(xiàn)。 代碼實(shí)現(xiàn) ...

【AI驅(qū)動(dòng)】 背景 簡(jiǎn)潔明了地展示模型參數(shù)對(duì)性能的影響是一項(xiàng)挑戰(zhàn)，為此，我們采用了可視化驅(qū)動(dòng)的調(diào)優(yōu)方法，通過(guò)直觀的圖表，幫助數(shù)據(jù)科學(xué)家和工程師更好地理解參數(shù)設(shè)置對(duì)模型精度的影響，在本項(xiàng)目中，我們主要探索隨機(jī)森林模型的兩個(gè)核心參數(shù)——n_estima...

【AI驅(qū)動(dòng)】 前言 Boruta算法是一種用于特征選擇的包裹式算法，專門設(shè)計(jì)用于確定數(shù)據(jù)集中哪些特征對(duì)預(yù)測(cè)模型是重要的。 Boruta算法原理 構(gòu)建隨機(jī)森林模型：首先，Boruta算法使用隨機(jī)森林模型來(lái)計(jì)算每個(gè)特征的重要性，隨機(jī)森林是...

【AI驅(qū)動(dòng)】 背景 Lasso算法是一種用于回歸分析的線性模型方法，具有變量選擇和正則化的功能，Lasso通過(guò)在損失函數(shù)中加入 正則項(xiàng)來(lái)約束回歸系數(shù)的大小，從而達(dá)到簡(jiǎn)化模型、提高預(yù)測(cè)精度的目的，以下是Lasso算法的關(guān)鍵要點(diǎn)： 目標(biāo)函數(shù) ...

【AI驅(qū)動(dòng)】 背景 在現(xiàn)代數(shù)據(jù)科學(xué)領(lǐng)域中，構(gòu)建高效的機(jī)器學(xué)習(xí)模型固然重要，但對(duì)模型結(jié)果的可視化也是至關(guān)重要的一環(huán)，通過(guò)直觀的圖形和圖表，我們不僅能更清晰地理解模型的表現(xiàn)，還能更好地傳達(dá)數(shù)據(jù)背后的故事，在本文中，我們將借鑒一篇學(xué)術(shù)研究中的可視化方法，...

【AI驅(qū)動(dòng)】 背景 在機(jī)器學(xué)習(xí)模型的解釋過(guò)程中，SHAP力圖（SHAP Force Plot）被廣泛用于展示單樣本各個(gè)特征對(duì)模型預(yù)測(cè)結(jié)果的貢獻(xiàn)，然而，標(biāo)準(zhǔn)的SHAP力圖有時(shí)可能難以直觀地傳達(dá)關(guān)鍵信息，尤其是在特征數(shù)量較多或特征值之間存在較大差異的情...

【AI驅(qū)動(dòng)】 背景 LIME是一個(gè)用于解釋機(jī)器學(xué)習(xí)模型預(yù)測(cè)結(jié)果的技術(shù)，它的主要目的是幫助人們理解黑箱模型（如深度學(xué)習(xí)模型、隨機(jī)森林等）的預(yù)測(cè)決策，針對(duì)于單個(gè)預(yù)測(cè)樣本的特征貢獻(xiàn)度解釋 LIME原理 LIME 的核心思想是在模型的局部（即一...

【AI驅(qū)動(dòng)】 背景 在數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域，模型的評(píng)估和結(jié)果的可視化是至關(guān)重要的環(huán)節(jié)，殘差分析通過(guò)衡量預(yù)測(cè)值與真實(shí)值之間的差異，為我們提供了深入了解模型性能的關(guān)鍵手段，Nature文章中的b圖展示了一種有效的殘差可視化方式，不僅能夠直觀呈現(xiàn)預(yù)測(cè)誤...

【AI驅(qū)動(dòng)】 背景 有效的可視化不僅能夠揭示數(shù)據(jù)的分布，還可以幫助識(shí)別不同變量之間的關(guān)系，一種流行的多變量數(shù)據(jù)可視化方法是將散點(diǎn)圖、直方圖和相關(guān)系數(shù)組合成一個(gè)綜合圖表，這種可視化方法，通常被稱為成對(duì)圖或相關(guān)網(wǎng)格，在探索性數(shù)據(jù)分析中尤為有用，能幫助研...