GNN簡介：

論文《Graph neural networks: A review of methods and applications》

GNN是一類用于處理圖數據的深度學習模型，能夠捕捉節點間的依賴關系。它們在多個領域表現出色，如社交網絡分析、物理系統建模、蛋白質接口預測和疾病分類。

GNN的設計流程：

圖神經網絡（GNN）設計流程分為4步，包括找到圖結構、指定圖類型和規模、設計損失函數以及使用計算模塊構建模型。

具體設計流程如下：

• 找出圖結構：這是GNN的第一步，需要確定問題背后的數據結構。圖結構通常通過節點和邊來描述，其中節點代表數據樣本，邊代表節點之間的關系或連接。
• 指定圖類型與規模：在確定了圖結構后，需要指定圖的類型和規模。不同類型的問題可能需要不同類型的圖，如有向圖、無向圖、加權圖等。同時，還需要指定圖的規模，即節點和邊的數量。
• 設計損失函數：損失函數是GNN模型訓練的關鍵部分，用于衡量模型的輸出與真實值之間的差異。設計損失函數的目標是最小化預測誤差，使得模型能夠更好地擬合訓練數據。
• 使用計算模塊構建模型：最后一步是使用計算模塊構建GNN模型。這一步涉及定義GNN模型的各個部分，如輸入層、隱藏層、輸出層等，并設置相應的參數和激活函數。在構建模型時，可以選擇使用現有的GNN模型架構，如GCN（圖卷積網絡）、GAT（圖注意力網絡）等，也可以根據自己的需求自定義模型架構。

GNN的核心模塊：

在圖神經網絡（GNN）中，計算模塊是模型的核心，它定義了節點之間信息的傳遞和聚合方式。

在圖神經網絡（GNN）中，關鍵的計算模塊包括：

• 傳播模塊（Propagation Module）：負責節點間信息的傳遞和狀態的更新。核心操作包括聚合和更新。技術細節包括卷積操作、循環操作和跳躍連接等。
• 采樣模塊（Sampling Module）：用于在大規模圖中選擇部分鄰居節點進行聚合，以減少計算量。策略包括隨機采樣、重要性采樣等。
• 池化模塊（Pooling Module）：在圖級別的任務中，用于聚合整個圖的節點表示以生成圖的表示。包括全局池化和分層池化等技術。

詳細了解圖神經網絡GNN：神經網絡算法 – 一文搞懂GNN（圖神經網絡）

Transformer

Transformer是一種基于自注意力機制的深度學習模型，最初是為了解決自然語言處理中的序列到序列（sequence-to-sequence）問題而設計的。

Transformer簡介：論文《Attention Is All You Need》

由于Transformer強大的性能，Transformer模型及其變體已經被廣泛應用于各種自然語言處理任務，如機器翻譯、文本摘要、問答系統等。

注意力機制：注意力機制是一種允許模型在處理信息時專注于關鍵部分，忽略不相關信息，從而提高處理效率和準確性的機制。它模仿了人類視覺處理信息時選擇性關注的特點。

當人類的視覺機制識別一個場景時，通常不會全面掃描整個場景，而是根據興趣或需求集中關注特定的部分，如在這張圖中，我們首先會注意到動物的臉部，正如注意力圖所示，顏色更深的區域通常是我們最先注意到的部分，從而初步判斷這可能是一只狼。

注意力機制通過查詢（Q）匹配鍵（K）計算注意力分數（向量點乘并調整），將分數轉換為權重后加權值（V）矩陣，得到最終注意力向量。

注意力分數是量化注意力機制中某一部分信息被關注程度的數值，反映了信息在注意力機制中的重要性。

在Transformer架構中，有3種不同的注意力層：

• 編碼器中的自注意力層（Self Attention layer）
• 解碼器中的交叉注意力層（Cross Attention layer）
• 解碼器中的因果自注意力層（Causal Attention layer）

詳細了解Transformer中的三種注意力機制：神經網絡算法 – 一文搞懂Transformer中的三種注意力機制Transformer的核心組件：Transformer模型包含輸入嵌入、位置編碼、多頭注意力、殘差連接和層歸一化、帶掩碼的多頭注意力以及前饋網絡等組件。

• 輸入嵌入：將輸入的文本轉換為向量，便于模型處理。
• 位置編碼：給輸入向量添加位置信息，因為Transformer并行處理數據而不依賴順序。
• 多頭注意力：讓模型同時關注輸入序列的不同部分，捕獲復雜的依賴關系。
• 殘差連接與層歸一化：通過添加跨層連接和標準化輸出，幫助模型更好地訓練，防止梯度問題。
• 帶掩碼的多頭注意力：在生成文本時，確保模型只依賴已知的信息，而不是未來的內容。
• 前饋網絡：對輸入進行非線性變換，提取更高級別的特征。

Transformer的架構：

Transformer遵循編碼器-解碼器總體架構，使用堆疊的自注意力機制和逐位置的全連接層，分別用于編碼器和解碼器，如圖中的左半部分和右半部分所示。

Encoder編碼器：Transformer的編碼器由6個相同的層組成，每個層包括兩個子層：一個多頭自注意力層和一個逐位置的前饋神經網絡。在每個子層之后，都會使用殘差連接和層歸一化操作，這些操作統稱為Add&Norm。這樣的結構幫助編碼器捕獲輸入序列中所有位置的依賴關系。

Decoder解碼器：Transformer的解碼器由6個相同的層組成，每層包含三個子層：掩蔽自注意力層、Encoder-Decoder注意力層和逐位置的前饋神經網絡。每個子層后都有殘差連接和層歸一化操作，簡稱Add&Norm。這樣的結構確保解碼器在生成序列時，能夠考慮到之前的輸出，并避免未來信息的影響。

編碼器與解碼器的本質區別：在于Self-Attention的Mask機制。

詳細了解Transformer：神經網絡算法 – 一文搞懂Transformer

2.模型介紹

圖神經網絡（GNN）和Transformer的結合是近年來的研究熱點。這類結合不僅能夠讓兩者發揮各自的優勢，還能推動模型的創新，提高處理圖數據的效率和性能。

具體點講，通過利用Transformer，我們可以擴展GNN的感受野，包括那些距離中心節點較遠的相關節點。相對的，GNN也可以幫助Transformer捕捉復雜的圖拓撲信息，并從相鄰區域高效地聚合相關節點。

模型思路

Transformer的局限：

盡管 Transformer 在自然語言處理和計算機視覺方面取得了巨大成功，但由于兩個重要原因，它很難推廣到中大規模圖數據。

• 原因一：復雜性高。
• 原因二：未能捕獲復雜且糾纏的結構信息。

GNN的局限：

在圖表示學習中，圖神經網絡（GNN）可以融合圖結構和節點屬性，但感受野有限。

TransGNN：

是否可以將 Transformer 和 GNN 結合起來，互相幫助？論文《Can Transformer and GNN Help Each Other?》提出了一種名為 TransGNN 的新模型，其中 Transformer 層和 GNN 層交替使用以相互改進。

具體來說，為了擴大感受野并解開邊的信息聚合，論文建議使用 Transformer 聚合更多相關節點的信息，以改善 GNN 的消息傳遞。此外，為了捕獲圖結構信息，使用位置編碼并利用GNN層將結構融合為節點屬性，從而改進了圖數據中的Transformer。

模型架構

TransGNN的架構圖：

TransGNN 的框架如圖所示：

TransGNN的核心模塊：

TransGNN框架是一個結合了注意力機制、位置編碼和圖神經網絡（GNN）的深度學習模型。該框架主要包括三個核心模塊：

1. 注意力采樣模塊：通過綜合考慮節點的語義相似度和圖結構信息，為每個中心節點選擇與其最相關的鄰居節點進行采樣。這樣可以在降低計算復雜度的同時，保留關鍵信息。
2. 位置編碼模塊：計算節點的位置編碼，以輔助Transformer層捕獲圖中的拓撲信息。位置編碼對于Transformer模型來說至關重要，因為它本身不具有處理序列位置信息的能力，而圖數據中的節點位置信息對于理解圖結構同樣關鍵。
3. TransGNN模塊：結合Transformer的多頭自注意力和GNN的圖結構信息，通過擴展感受野和優化節點表示，以捕捉長距離依賴并提升圖數據表征能力。

TransGNN Module：

Transformer擅長聚合遠距離的相關信息，而GNN則擅長捕捉圖的結構信息。結合這兩個機制，可以構建出一個更強大、更全面的圖神經網絡模型。

以下是TransGNN模塊的三個核心子模塊的概述：

• Transformer層：利用多頭自注意力機制，Transformer層能夠捕獲圖中節點之間的遠距離依賴關系。通過計算注意力分數，Transformer層可以識別出與中心節點最相關的節點，并聚合這些節點的信息。這有助于模型理解圖的全局結構，并提升對圖中遠距離關系的感知能力。
• GNN層：GNN層通過消息傳遞機制，將鄰居節點的信息傳遞給中心節點。這一步驟允許模型捕獲節點的局部結構信息，包括節點的直接鄰居和更廣泛的鄰域。GNN層利用圖的結構信息，將節點的表示與其在圖中的位置關聯起來，從而提供更豐富的上下文信息。
• Samples更新子模塊：在通過Transformer層和GNN層處理節點信息后，Samples更新子模塊負責根據這些信息的聚合結果來更新節點的表示。該子模塊可以采用各種策略來融合來自不同層的信息，并生成新的節點表示。這些新的表示將作為下一輪迭代的輸入，用于更新模型的參數和進一步優化節點的表示。

3.模型應用

推薦系統

推薦系統的重要性：
推薦系統在現代在線平臺中至關重要，因為它們有效解決了信息過載的問題，通過為用戶推薦有用的內容提高了用戶體驗。協同過濾（CF）與用戶和項目信息編碼：協同過濾是推薦系統的核心方法之一，其中對用戶和項目信息的有效編碼對于準確推斷用戶偏好至關重要。近年來，用于建模圖結構數據的圖神經網絡（GNN）的發展迅速增多。一個有前途的方向是沿著用戶-項目交互執行信息傳播，以基于遞歸聚合模式完善用戶嵌入。
圖神經網絡（GNN）的挑戰：

• 消息傳遞機制的限制：GNN的消息傳遞機制依賴于邊來融合信息，這可能導致強偏差和噪聲，特別是在存在位置偏差和“興趣無關連接”的情況下。
• 感受野與過度平滑問題：GNN的感受野受限，導致難以捕獲長距離依賴關系，同時深度GNN模型容易遇到過度平滑問題，使得節點表示難以區分。

通過將GNN和Transformer結合，可以充分利用兩者的優勢，同時彌補各自的不足，從而構建更強大、更全面的推薦系統模型。這種結合可以擴展GNN的感受野，同時利用Transformer的全局聚合能力來捕獲長期依賴關系。TransGNN論文論文《TransGNN: Harnessing the Collaborative Power of Transformers?and Graph Neural Networks for Recommender Systems》

TransGNN論文架構：

實驗案例

TransGNN被應用于多個推薦系統數據集，并與其他先進的推薦算法進行了比較。以下是一些具體的案例和數據結果：

數據集：

研究團隊在五個公共數據集上進行了實驗，這些數據集涵蓋了不同的推薦場景，如電影推薦、商品推薦等。這些數據集包含了豐富的用戶-項目交互信息，以及項目的內容信息和圖結構信息。

實驗設置：

為了驗證TransGNN的有效性，研究團隊將TransGNN與多個基線模型進行了比較，包括基于GNN的模型（如GCN、GraphSAGE）和基于Transformer的模型（如Transformer-Rec）。此外，還考慮了其他先進的推薦算法，如矩陣分解（MF）和深度神經網絡（DNN）。

實驗結果：

• 準確性提升：在多個數據集上，TransGNN在推薦準確性方面均取得了顯著的提升。相比于基線模型，TransGNN能夠更準確地預測用戶的興趣偏好，從而提供更符合用戶需求的推薦結果。
• 長期依賴捕獲：通過利用Transformer的自注意力機制，TransGNN能夠捕獲用戶-項目交互序列中的長期依賴關系。這使得TransGNN在推薦長序列項目時更具優勢，能夠提供更連貫、更相關的推薦結果。
• 圖結構信息利用：通過結合GNN層，TransGNN能夠充分利用圖結構信息來完善節點表示。這使得TransGNN在處理具有復雜圖結構的數據集時更具優勢，能夠更準確地理解用戶和項目之間的關系。
• 效率與復雜度：盡管TransGNN結合了Transformer和GNN的優勢，但其計算復雜度和效率仍然保持在一個合理的范圍內。通過采用有效的樣本更新策略和節點采樣技術，TransGNN能夠在保證推薦準確性的同時，降低計算成本和提高訓練效率。

文章轉自微信公眾號@架構師帶你玩轉AI