如何快速實(shí)現(xiàn)REST API集成以優(yōu)化業(yè)務(wù)流程
因果理論已成統(tǒng)計(jì)學(xué)重要分支，有獨(dú)特概念、語(yǔ)言及方法。目前廣泛被認(rèn)可和使用的因果模型，主要包括潛在結(jié)果框架（RCM）和結(jié)構(gòu)因果模型（SCM）。
RCM主要研究?jī)蓚€(gè)變量的平均因果效應(yīng)問(wèn)題，而SCM使用圖結(jié)構(gòu)建模一組變量關(guān)系，除了效應(yīng)估計(jì)也會(huì)關(guān)注結(jié)構(gòu)發(fā)現(xiàn)問(wèn)題。兩者的主要區(qū)別在于表述方法不同，RCM更加簡(jiǎn)潔直白，相關(guān)研究更為豐富；而SCM表達(dá)能力更強(qiáng)，更擅長(zhǎng)描述復(fù)雜的問(wèn)題。格蘭杰因果（Granger causality）描述的是引入一個(gè)變量是否對(duì)另一個(gè)變量的預(yù)測(cè)有促進(jìn)作用，本質(zhì)上仍是一種相關(guān)關(guān)系，不被視為真正的因果。
下面?zhèn)戎赜诮榻B機(jī)器學(xué)習(xí)中所使用的因果的概念和思想以及 RCM與SCM 的相關(guān)理論和技術(shù)進(jìn)行簡(jiǎn)要介紹。
統(tǒng)計(jì)學(xué)中，因果關(guān)系是改變一個(gè)變量使得另一個(gè)變量發(fā)生相應(yīng)變化，這種變量關(guān)系稱為因果關(guān)系，改變這種關(guān)系的效應(yīng)稱為因果效應(yīng)，因果效應(yīng)顯薯，則認(rèn)為存在因果關(guān)系。求解一對(duì)或多對(duì)變量的因果關(guān)系和因果效應(yīng)的任務(wù)被稱為因果推斷。相關(guān)關(guān)系和因果關(guān)系的區(qū)別是，相關(guān)關(guān)系只需檢驗(yàn)邊際分布和條件分布，而因果關(guān)系需要改變目標(biāo)變量的產(chǎn)生機(jī)制。回答因果問(wèn)題需要借助反事實(shí)或干預(yù)，若僅依賴關(guān)聯(lián)，則需處理混雜因素，這是研究因果理論的重要概念。
下面將基于回答因果關(guān)系判定問(wèn)題的角度，對(duì)反事實(shí)、干預(yù)和混雜因素 3 個(gè)概念進(jìn)行介紹：
反事實(shí)。反事實(shí)是指在已經(jīng)觀測(cè)到一組變量的情況下，假設(shè)其中部分變量具有另外的取值的操作。它是根據(jù)結(jié)果溯源尋找原因的有效手段，如果發(fā)現(xiàn)某個(gè)變量改變?nèi)≈岛髸?huì)導(dǎo)致結(jié)果改變，該變量即是結(jié)果的原因之一。然而，反事實(shí)操作通常無(wú)法用于因果判定，因?yàn)樗俣▋纱斡^測(cè)之間除了需要研究的變量有所改變外，其他外部變量取值和作用機(jī)制需完全保持一致，這在實(shí)際應(yīng)用中幾乎無(wú)法實(shí)現(xiàn)。因此，想要判斷因果關(guān)系的存在性，人們只能采用干預(yù)操作。
干預(yù)。干預(yù)操作是評(píng)估因果關(guān)系的關(guān)鍵，通過(guò)改變部分變量的機(jī)制并維持其余機(jī)制不變。如果干預(yù)改變了一個(gè)變量的概率分布，則前者是后者的原因，例如海拔高度影響氣溫。通過(guò)調(diào)整地理位置來(lái)改變海拔，氣候?qū)l(fā)生變化，因?yàn)楸澈蟮奈锢頇C(jī)制不變。干預(yù)操作可以清晰地判斷因果關(guān)系的存在性和方向性。干預(yù)操作不同于反事實(shí)，需要滿足密集體不變的假設(shè)，但在一般應(yīng)用場(chǎng)景中通常可行。然而，許多情況下無(wú)法實(shí)施干預(yù)操作，如肺癌研究。因此，需要避免對(duì)目標(biāo)變量進(jìn)行干預(yù)，僅通過(guò)觀測(cè)原有機(jī)制產(chǎn)生的數(shù)據(jù)來(lái)估計(jì)干預(yù)的效果。
混雜因素。混雜因素是對(duì)干預(yù)結(jié)果影響的變量，需要控制取值以減小偏差。混雜因素對(duì)所研究的兩個(gè)變量有影響，例如兒童穿鞋尺碼與閱讀能力。如果不控制年齡，可能出現(xiàn)錯(cuò)誤結(jié)論。如果可以控制所有的混雜因素，因果關(guān)系就等價(jià)于相關(guān)性。尋找充分的變量集合，囊括所有混雜因素很困難。鑒別和處理混雜因素是因果推斷領(lǐng)域的核心問(wèn)題之一。
1.2.1? 潛在結(jié)果框架（RCM）
潛在結(jié)果框架又被稱為魯賓因果模型，是一種用于描述因果效應(yīng)的框架。在該框架中，每個(gè)個(gè)體都有一個(gè)潛在結(jié)果，即如果該個(gè)體接受某種處理，會(huì)得到什么結(jié)果。這個(gè)結(jié)果是未觀測(cè)到的，因?yàn)槊總€(gè)個(gè)體只能接受一種處理，而我們只能觀測(cè)到實(shí)際接受的處理和對(duì)應(yīng)的結(jié)果。因此，我們需要通過(guò)對(duì)不同處理下的結(jié)果進(jìn)行比較，來(lái)估計(jì)出每個(gè)個(gè)體的處理效應(yīng)（individual treatment effect, ITE）。
在實(shí)際應(yīng)用中，我們通常需要考慮多個(gè)個(gè)體和多個(gè)處理，因此需要對(duì)所有個(gè)體的處理效應(yīng)進(jìn)行匯總。這可以通過(guò)計(jì)算平均處理效應(yīng)（average treatment effect, ATE）來(lái)實(shí)現(xiàn)，即所有個(gè)體的處理效應(yīng)的平均值。
在RCM 中，如果滿足一定的假設(shè)，包括個(gè)體處理值穩(wěn)定假設(shè)（SUTVA）、處理分配機(jī)制可忽略性、正值性，上述計(jì)算得到的 ATE 即是X對(duì)Y的真實(shí)因果效應(yīng)。
實(shí)際問(wèn)題中，采用控制所有混雜因素的方法計(jì)算 ATE 時(shí)，由于混雜因素的維度很高，控制相同取值的樣本可能很少，期望估計(jì)不太準(zhǔn)確。常見(jiàn)的解決方法有：基于傾向性得分的估計(jì)方法、基于回歸的估計(jì)方法以及兩者相結(jié)合的方法，還有諸如混雜平衡、分層等眾多其他方去處理混雜因素的問(wèn)題，但這些方法均要求混雜因素的值可觀測(cè)，限制了RCM的應(yīng)用。部分問(wèn)題可使用SCM解決，這是一個(gè)針對(duì)混雜因素的數(shù)據(jù)結(jié)構(gòu)化方法。
1.2.2? 結(jié)構(gòu)因果模型
結(jié)構(gòu)因果模型（structural causal model, SCM）是一種用于描述變量之間因果關(guān)系的模型，它使用圖結(jié)構(gòu)建模一組變量關(guān)系，除了效應(yīng)估計(jì)也會(huì)關(guān)注結(jié)構(gòu)發(fā)現(xiàn)問(wèn)題。在SCM中，我們將變量表示為節(jié)點(diǎn)，將因果關(guān)系表示為有向邊。每個(gè)節(jié)點(diǎn)都有一個(gè)結(jié)構(gòu)方程式，用于描述該節(jié)點(diǎn)的取值如何受到其父節(jié)點(diǎn)的影響。結(jié)構(gòu)方程式通常包含一個(gè)函數(shù)和一個(gè)誤差項(xiàng)，函數(shù)描述了變量之間的因果關(guān)系，誤差項(xiàng)描述了未被考慮的因素對(duì)變量的影響。圖 1 所對(duì)應(yīng)的完整結(jié)構(gòu)方程為：Z = Nz，X = fx(Z, Nx)， Y = fY (Z, X, Ny )。
圖?1?因果圖示例
SCM可以用于估計(jì)因果效應(yīng)，即某個(gè)變量對(duì)另一個(gè)變量的影響。在SCM中，我們可以通過(guò)對(duì)模型進(jìn)行干預(yù)來(lái)估計(jì)因果效應(yīng)。干預(yù)可以是對(duì)某個(gè)節(jié)點(diǎn)的取值進(jìn)行人為設(shè)定，也可以是對(duì)某個(gè)節(jié)點(diǎn)的結(jié)構(gòu)方程式進(jìn)行修改。通過(guò)對(duì)干預(yù)前后的模型進(jìn)行比較，我們可以估計(jì)出干預(yù)對(duì)其他變量的影響，從而得到因果效應(yīng)。
SCM還可以用于結(jié)構(gòu)發(fā)現(xiàn)，即從數(shù)據(jù)中推斷出變量之間的因果關(guān)系。結(jié)構(gòu)發(fā)現(xiàn)可以通過(guò)多種方法實(shí)現(xiàn)，包括基于因果圖的搜索算法、基于獨(dú)立性測(cè)試的方法。
因果問(wèn)題已成為機(jī)器學(xué)習(xí)重要且前沿的研究領(lǐng)域。機(jī)器學(xué)習(xí)可從因果技術(shù)和思想中獲得多個(gè)益處：因果理論是數(shù)據(jù)分析的工具，能進(jìn)行細(xì)致分析；因果推斷消除混雜因素和中介分析，對(duì)評(píng)估因果效應(yīng)和區(qū)分間接效應(yīng)有重要價(jià)值；反事實(shí)是人思考求解問(wèn)題的常用手段，對(duì)機(jī)器學(xué)習(xí)模型構(gòu)建和問(wèn)題分析有指導(dǎo)意義。
因果機(jī)器學(xué)習(xí)的核心內(nèi)容包括可解釋性問(wèn)題、可遷移性問(wèn)題、魯棒性問(wèn)題、公平性問(wèn)題和反事實(shí)評(píng)估問(wèn)題。這些問(wèn)題與因果理論的關(guān)系如圖2所示，將分別進(jìn)行介紹。
圖 2 因果機(jī)器學(xué)習(xí)的主要研究問(wèn)題總覽
機(jī)器學(xué)習(xí)模型會(huì)計(jì)算并產(chǎn)生輸出，但一般不解釋為何得出此輸出。然而，合理解釋有助于理解模型運(yùn)作機(jī)制，增強(qiáng)結(jié)果的說(shuō)服力。近年來(lái)涌現(xiàn)許多解釋模型方法的研究，為模型診斷提供有效手段。解釋核心是理解輸入特征如何導(dǎo)致輸出結(jié)果，即討論輸入特征與輸出結(jié)果的因果關(guān)系，如估計(jì)特征對(duì)輸出變量的影響。由于機(jī)器學(xué)習(xí)模型獨(dú)立處理輸入數(shù)據(jù)，輸入與輸出變量之間無(wú)混雜因素，因此即使不使用因果術(shù)語(yǔ)也能描述任務(wù)。
因果理論為解釋性問(wèn)題帶來(lái)兩大貢獻(xiàn)，一是建模特征內(nèi)部因果關(guān)系，二是引入反事實(shí)解釋。基于歸因分析和反事實(shí)的解釋構(gòu)成了當(dāng)前主要的兩類(lèi)模型解釋方法，見(jiàn)表1。表 1 因果方法在可解釋性問(wèn)題上的應(yīng)用
圖 2 反事實(shí)解釋示例
圖 3 反事實(shí)圖像混合示例
機(jī)器學(xué)習(xí)模型通過(guò)分布內(nèi)泛化，基于特定訓(xùn)練集在驗(yàn)證集或測(cè)試集上驗(yàn)證性能。但在實(shí)際應(yīng)用中，模型會(huì)在特定的數(shù)據(jù)環(huán)境中運(yùn)行，并使用數(shù)據(jù)進(jìn)行訓(xùn)練。在標(biāo)注數(shù)據(jù)難以獲取的情況下，需要更多的訓(xùn)練數(shù)據(jù)，可以由相似環(huán)境提供。例如，自動(dòng)駕駛智能體只能在模擬系統(tǒng)的數(shù)據(jù)上訓(xùn)練，這種任務(wù)被稱為域適應(yīng)，屬于遷移學(xué)習(xí)范疇，即遷移源域知識(shí)到目標(biāo)域。
研究可遷移性中，因果理論的重要性是提供清晰的描述和分析工具，幫助識(shí)別可遷移和不可遷移的成分，設(shè)計(jì)適用于不同場(chǎng)景的策略。在效應(yīng)估計(jì)中，因果推斷關(guān)注的是特定環(huán)境下改變機(jī)制的影響，這與遷移學(xué)習(xí)的域改變假設(shè)相符。因此，遷移學(xué)習(xí)的核心是建模識(shí)別變與不變的機(jī)制。因果遷移學(xué)習(xí)一般假設(shè)輸入和輸出的因果關(guān)系，關(guān)注無(wú)混雜因素影響下的變量因果方向和不可變機(jī)制。表 2 因果方法在可遷移性問(wèn)題上的應(yīng)用
圖 4 3 類(lèi)反因果遷移問(wèn)題的因果圖
遷移學(xué)習(xí)幫助模型在目標(biāo)環(huán)境中，利用有限的數(shù)據(jù)進(jìn)行適應(yīng)。然而，在某些高風(fēng)險(xiǎn)場(chǎng)景中，例如醫(yī)療、法律、金融和交通等領(lǐng)域，模型需要面對(duì)完全未知的環(huán)境。以自動(dòng)駕駛為例，即使有大量的真實(shí)道路行駛數(shù)據(jù)，自動(dòng)駕駛智能體仍會(huì)遭遇各種無(wú)法預(yù)見(jiàn)的突發(fā)情況，這些情況需要正確處理。這類(lèi)任務(wù)無(wú)法提供目標(biāo)環(huán)境下的訓(xùn)練數(shù)據(jù)，此時(shí)模型的表現(xiàn)稱為分布外泛化。如果模型具有良好的分布外泛化能力，則稱其具有魯棒性(robustness)，展現(xiàn)出一種適應(yīng)新環(huán)境、應(yīng)對(duì)變化的能力。
因果理論的引入為魯棒性問(wèn)題的解決提供了全新的視角，其核心優(yōu)勢(shì)在于對(duì)變量結(jié)構(gòu)的精確建模和更符合邏輯的假設(shè)。這類(lèi)方法涵蓋了反事實(shí)數(shù)據(jù)增強(qiáng)、因果效應(yīng)校準(zhǔn)以及不變性學(xué)習(xí)等。詳見(jiàn)表3，反事實(shí)數(shù)據(jù)增強(qiáng)旨在消弭數(shù)據(jù)中的偽相關(guān)性，因果效應(yīng)校準(zhǔn)則通過(guò)調(diào)節(jié)偏差特征的功能來(lái)減輕偏差，而不變性學(xué)習(xí)則通過(guò)改變建模方式以學(xué)習(xí)穩(wěn)定的因果關(guān)系。
表 3 因果方法在魯棒性問(wèn)題上的應(yīng)用
圖 5 視覺(jué)對(duì)話任務(wù)的因果圖和 2 種校準(zhǔn)策略
圖 6 不變性學(xué)習(xí)方法的因果圖
在機(jī)器學(xué)習(xí)領(lǐng)域，公平性是指在對(duì)特定敏感特征如性別、年齡、種族等的處理中，不同的取值不應(yīng)影響機(jī)器學(xué)習(xí)模型的預(yù)測(cè)結(jié)果，如在貸款發(fā)放、法律判決、招生招聘等任務(wù)中。公平性對(duì)于機(jī)器學(xué)習(xí)在社會(huì)決策中的應(yīng)用至關(guān)重要，與因果關(guān)系緊密相關(guān)，它體現(xiàn)了敏感特征不應(yīng)成為預(yù)測(cè)結(jié)果的主要因素。模型中存在的不公平往往由偽相關(guān)特征問(wèn)題導(dǎo)致，因此公平性也可以視為針對(duì)敏感特征的魯棒性，這一概念擁有自己獨(dú)特的研究體系和術(shù)語(yǔ)。
因果理論的引入為公平性研究起到了極大地推動(dòng)作用，許多概念必須借助因果的語(yǔ)言才能表達(dá)，如表 4 所示：表 4 因果方法在公平性問(wèn)題上的應(yīng)用
機(jī)器學(xué)習(xí)公平性研究與因果關(guān)系密切相連，因果理論在此領(lǐng)域發(fā)揮著不可替代的作用。描述語(yǔ)言、建模方法和求解手段都依賴于因果研究的相關(guān)成果，未來(lái)仍將繼續(xù)發(fā)揮其重要作用。
反事實(shí)評(píng)估，是指機(jī)器學(xué)習(xí)模型的優(yōu)化目標(biāo)自身為反事實(shí)，這種情況通常出現(xiàn)在使用有偏差的標(biāo)注數(shù)據(jù)訓(xùn)練出無(wú)偏模型的場(chǎng)景中，例如基于點(diǎn)擊數(shù)據(jù)的檢索和推薦系統(tǒng)學(xué)習(xí)任務(wù)。由于任務(wù)本身依賴于反事實(shí)術(shù)語(yǔ)進(jìn)行描述，因果理論在這類(lèi)問(wèn)題的建模和研究中發(fā)揮了至關(guān)重要的作用，如表5所示：
表 5 因果方法在反事實(shí)評(píng)估問(wèn)題上的應(yīng)用
圖 7?廣告推薦系統(tǒng)的因果圖
機(jī)器學(xué)習(xí)領(lǐng)域的因果關(guān)系研究成果豐富多樣。除對(duì)于可解釋性、遷移性、魯棒性、公平性以及反事實(shí)評(píng)估等關(guān)鍵問(wèn)題的深入探討外，還涉及其他相關(guān)領(lǐng)域的研究。例如，因果理論在結(jié)構(gòu)化變量的場(chǎng)景下特別有效，如多警老虎機(jī)問(wèn)題。因果理論中的反事實(shí)思想和技術(shù)，被用于解決多個(gè)領(lǐng)域的問(wèn)題。因果機(jī)器學(xué)習(xí)引入了干預(yù)和反事實(shí)結(jié)果預(yù)測(cè)問(wèn)題，需要機(jī)器學(xué)習(xí)與因果推斷協(xié)作。
本文介紹因果關(guān)系概念、模型和方法，包括可解釋性、可遷移性、魯棒性、公平性和反事實(shí)評(píng)估等問(wèn)題。在應(yīng)用中，因果理論使機(jī)器學(xué)習(xí)在數(shù)據(jù)結(jié)構(gòu)、不變性假設(shè)、反事實(shí)概念和效應(yīng)估計(jì)上建模，不使用則無(wú)法實(shí)現(xiàn)。因果理論幫助解決干預(yù)和反事實(shí)操作問(wèn)題，解決傳統(tǒng)機(jī)器學(xué)習(xí)無(wú)法討論的問(wèn)題。
目前，因果相關(guān)方法在遷移性和魯棒性問(wèn)題上挖掘尚淺，需繼續(xù)深入。未來(lái)，因果機(jī)器學(xué)習(xí)研究將向更準(zhǔn)確、高效發(fā)展。
文章轉(zhuǎn)自微信公眾號(hào)@算法進(jìn)階
對(duì)比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力
一鍵對(duì)比試用API 限時(shí)免費(fèi)
安全的關(guān)鍵.png)
