每一種信息的來源或者形式，都可以稱為一種模態。例如，人有觸覺，聽覺，視覺，嗅覺。多模態機器學習旨在通過機器學習的方法實現處理和理解多源模態信息的能力。多模態學習從1970年代起步，經歷了幾個發展階段，在2010年后***步入深度學習(deeplearning)階段。在某種意義上，深度學習可以被看作是允許我們“混合和匹配”不同模型以創建復雜的深度多模態模型。目前，多模態數據融合主要有三種融合方式：前端融合(early-fusion)即數據水平融合(data-levelfusion)、后端融合(late-fusion)即決策水平融合(decision-levelfusion)以及中間融合(intermediate-fusion)。前端融合將多個**的數據集融合成一個單一的特征向量空間，然后將其用作機器學習算法的輸入，訓練機器學習模型，如圖1所示。由于多模態數據的前端融合往往無法充分利用多個模態數據間的互補性，且前端融合的原始數據通常包含大量的冗余信息。因此，多模態前端融合方法常常與特征提取方法相結合以剔除冗余信息，基于領域經驗從每個模態中提取更高等別的特征表示，或者應用深度學習算法直接學習特征表示，然后在特性級別上進行融合。后端融合則是將不同模態數據分別訓練好的分類器輸出決策進行融合，如圖2所示。代碼質量評估顯示注釋覆蓋率不足30%需加強。軟件檢測報告 時間

    本發明屬于惡意軟件防護技術領域：：，涉及一種基于多模態深度學習的惡意軟件檢測方法。背景技術：：：惡意軟件是指在未明確提示用戶或未經用戶許可的情況下，故意編制或設置的，對網絡或系統會產生威脅或潛在威脅的計算機軟件。常見的惡意軟件有計算機**(簡稱**)、特洛伊木馬(簡稱木馬)、計算機蠕蟲(簡稱蠕蟲)、后門、邏輯**等。惡意軟件可能在用戶不知情的情況下竊取計算機用戶的信息和隱私，也可能非法獲得計算機系統和網絡資源的控制，破壞計算機和網絡的可信性、完整性和可用性，從而為惡意軟件控制者謀取非法利益。騰訊安全發布的《2017年度互聯網安全報告》顯示，2017年騰訊電腦管家pc端總計攔截**近30億次，平均每月攔截木馬**近，共發現**或木馬***。這些數目龐大、名目繁多的惡意軟件侵蝕著我國的***、經濟、文化、***等各個領域的信息安全，帶來了前所未有的挑戰。當前的反**軟件主要采用基于特征碼的檢測方法，這種方法通過對代碼進行充分研究，獲得惡意軟件特征值(即每種惡意軟件所獨有的十六進制代碼串)，如字節序列、特定的字符串等，通過匹配查找軟件中是否包含惡意軟件特征庫中的特征碼來判斷其是否為惡意軟件。信息系統 安全測評數字化轉型中的挑戰與應對：艾策科技的經驗分享。

    optimizer)采用的是adagrad，batch_size是40。深度神經網絡模型訓練基本都是基于梯度下降的，尋找函數值下降速度**快的方向，沿著下降方向迭代，迅速到達局部**優解的過程就是梯度下降的過程。使用訓練集中的全部樣本訓練一次就是一個epoch，整個訓練集被使用的總次數就是epoch的值。epoch值的變化會影響深度神經網絡的權重值的更新次數。本次實驗使用了80％的樣本訓練，20％的樣本驗證，訓練50個迭代以便于找到較優的epoch值。隨著迭代數的增加，前端融合模型的準確率變化曲線如圖5所示，模型的對數損失變化曲線如圖6所示。從圖5和圖6可以看出，當epoch值從0增加到5過程中，模型的驗證準確率和驗證對數損失有一定程度的波動；當epoch值從5到50的過程中，前端融合模型的訓練準確率和驗證準確率基本不變，訓練和驗證對數損失基本不變；綜合分析圖5和圖6的準確率和對數損失變化曲線，選取epoch的較優值為30。確定模型的訓練迭代數為30后，進行了10折交叉驗證實驗。前端融合模型的10折交叉驗證的準確率是％，對數損失是，混淆矩陣如圖7所示，規范化后的混淆矩陣如圖8所示。前端融合模型的roc曲線如圖9所示，該曲線反映的是隨著檢測閾值變化下檢測率與誤報率之間的關系曲線。

    且4個隱含層中間間隔設置有dropout層。用于輸入合并抽取的高等特征表示的深度神經網絡包含2個隱含層，其***個隱含層的神經元個數是64，第二個神經元的隱含層個數是10，且2個隱含層中間設置有dropout層。且所有dropout層的dropout率等于。本次實驗使用了80％的樣本訓練，20％的樣本驗證，訓練50個迭代以便于找到較優的epoch值。隨著迭代數的增加，中間融合模型的準確率變化曲線如圖17所示，模型的對數損失變化曲線如圖18所示。從圖17和圖18可以看出，當epoch值從0增加到20過程中，模型的訓練準確率和驗證準確率快速提高，模型的訓練對數損失和驗證對數損失快速減少；當epoch值從30到50的過程中，中間融合模型的訓練準確率和驗證準確率基本保持不變，訓練對數損失緩慢下降；綜合分析圖17和圖18的準確率和對數損失變化曲線，選取epoch的較優值為30。確定模型的訓練迭代數為30后，進行了10折交叉驗證實驗。中間融合模型的10折交叉驗證的準確率是％，對數損失是，混淆矩陣如圖19所示，規范化后的混淆矩陣如圖20所示。中間融合模型的roc曲線如圖21所示，auc值為，已經非常接近auc的**優值1。(7)實驗結果比對為了綜合評估本實施例提出融合方案的綜合性能。安全掃描確認軟件通過ISO 27001標準，無高危漏洞記錄。

    這樣做的好處是，融合模型的錯誤來自不同的分類器，而來自不同分類器的錯誤往往互不相關、互不影響，不會造成錯誤的進一步累加。常見的后端融合方式包括**大值融合(max-fusion)、平均值融合(averaged-fusion)、貝葉斯規則融合(bayes’rulebased)以及集成學習(ensemblelearning)等。其中集成學習作為后端融合方式的典型**，被廣泛應用于通信、計算機識別、語音識別等研究領域。中間融合是指將不同的模態數據先轉化為高等特征表達，再于模型的中間層進行融合，如圖3所示。以深度神經網絡為例，神經網絡通過一層一層的管道映射輸入，將原始輸入轉換為更高等的表示。中間融合首先利用神經網絡將原始數據轉化成高等特征表達，然后獲取不同模態數據在高等特征空間上的共性，進而學習一個聯合的多模態表征。深度多模態融合的大部分工作都采用了這種中間融合的方法，其***享表示層是通過合并來自多個模態特定路徑的連接單元來構建的。中間融合方法的一大優勢是可以靈活的選擇融合的位置，但設計深度多模態集成結構時，確定如何融合、何時融合以及哪些模式可以融合，是比較有挑戰的問題。字節碼n-grams、dll和api信息、格式結構信息這三種類型的特征都具有自身的優勢。第三方實驗室驗證數據處理速度較上代提升1.8倍。cnas 軟件 安全 測試 認證

深圳艾策信息科技：賦能中小企業的數字化未來。軟件檢測報告 時間

    在不知道多長的子序列能更好的表示可執行文件的情況下，只能以固定窗口大小在字節碼序列中滑動，產生大量的短序列，由機器學習方法選擇可能區分惡意軟件和良性軟件的短序列作為特征，產生短序列的方法叫n-grams?！?80074ff13b2”的字節碼序列，如果以3-grams產生連續部分重疊的短序列，將得到“080074”、“0074ff”、“74ff13”、“ff13b2”四個短序列。每個短序列特征的權重表示有多種方法。**簡單的方法是如果該短序列在具體樣本中出現，就表示為1；如果沒有出現，就表示為0，也可以用。本實施例采用3-grams方法提取特征，3-grams產生的短序列非常龐大，將產生224＝(16,777,216)個特征，如此龐大的特征集在計算機內存中存儲和算法效率上都是問題。如果短序列特征的tf較小，對機器學習可能沒有意義，選取了tf**高的5000個短序列特征，計算每個短序列特征的，每個短序列特征的權重是判斷其所在軟件樣本是否為惡意軟件的依據，也是區分每個軟件樣本的依據。(4)前端融合前端融合的架構如圖4所示，前端融合方式將三種模態的特征合并，然后輸入深度神經網絡，隱藏層的***函數為relu，輸出層的***函數是sigmoid，中間使用dropout層進行正則化，防止過擬合，優化器。軟件檢測報告 時間