全球領(lǐng)先的信息技術(shù)研究和顧問公司 Gartner 每年都會發(fā)布一份其認為未來一年及之后最重要的頂級戰(zhàn)略技術(shù)趨勢的清單【1】。2022 年 10 月發(fā)布了企業(yè)機構(gòu)在 2023 年需要探索的 10 大重要戰(zhàn)略科技趨勢。Gartner 預計 2023 年的趨勢將通過使組織能夠解決四個關(guān)鍵優(yōu)先事項來影響未來三年的企業(yè)戰(zhàn)略：

? 優(yōu)化彈性、運營和信任

? 擴展垂直解決方案、產(chǎn)品交付或無處不在的連接

? 開創(chuàng)性的客戶參與、加速響應或機會

? 追求可持續(xù)的技術(shù)解決方案

Gartner 杰出副總裁分析師大衛(wèi)·格羅姆里奇指出：許多商界領(lǐng)袖預計，到目前為止，他們將直接關(guān)注疫情后的增長。相反，大多數(shù)人現(xiàn)在都在關(guān)注經(jīng)濟衰退的威脅，管理持續(xù)通貨膨脹的影響，以及應對供應鏈、能源采購和數(shù)字技能方面的危機。雖然未來不確定，但企業(yè)仍必須確定并致力于戰(zhàn)略成果和計劃。企業(yè)的目標或是節(jié)約成本，或是提高利潤率，或是擴大轉(zhuǎn)向重塑的商業(yè)模式，或是這些目標的組合。無論是什么，技術(shù)是關(guān)鍵，但企業(yè)必須知道技術(shù)趨勢何時何地可能產(chǎn)生影響。為了提供幫助，Gartner 提供了一份關(guān)鍵技術(shù)趨勢的年度清單，無論業(yè)務需要如何，業(yè)務領(lǐng)導者和技術(shù)專家都應在未來36 個月內(nèi)利用這些趨勢。這些當務之急構(gòu)成了 2023 年十大戰(zhàn)略性技術(shù)趨勢，包括優(yōu)化、擴展和開拓三個主題和可持續(xù)技術(shù)一條主線（或四個主題）【2】。

全文首先介紹和解讀每個技術(shù)趨勢，然后介紹關(guān)于它們的前景和企業(yè)如何利用其制定未來發(fā)展規(guī)劃。

由于文章篇幅較長，我們按主題將整個文章分為四個部分進行展開介紹。

01 主題一：優(yōu)化（章節(jié)1.1）

02 主題二：擴展（章節(jié)1.2）

03 主題三：開拓（章節(jié)1.3）

04 一條主線及技術(shù)趨勢如何匹配企業(yè)戰(zhàn)略目標（章節(jié) 1.4& 第2章）

本文將對第一部分——《主題一：優(yōu)化》（即章節(jié)1.1）進行介紹，主要內(nèi)容包括：

趨勢1--數(shù)字免疫系統(tǒng)（Digital Immune System）

趨勢2--應用可觀察性（Applied Observability）

趨勢3--人工智能信任、風險和安全管理 (AI Trust, Risk and Security Management=AI TRiSM)

- （第一部分）正文 -

01 Gartner 2023年十大戰(zhàn)略性技術(shù)趨勢

Gartner提供了一份關(guān)鍵技術(shù)趨勢的年度清單，如圖1所示，2023年十大戰(zhàn)略性技術(shù)趨勢，包括優(yōu)化、擴展和開拓三個主題和可持續(xù)技術(shù)一條主線（或四個主題）【2】：

圖1：Gartner 2023年10大戰(zhàn)略性技術(shù)趨勢（來源：Gartner【2】）

1.1 主題一：優(yōu)化（Optimize）

優(yōu)化主題構(gòu)建：優(yōu)化彈性、運營，和信任。通過優(yōu)化IT系統(tǒng)以提高可靠性，改進數(shù)據(jù)驅(qū)動決策，并保持生產(chǎn)中AI系統(tǒng)的價值完整性

1.1.1 數(shù)字免疫系統(tǒng)（Digital Immune System）-- 優(yōu)化彈性

1.1.1.1 產(chǎn)生背景，概念和重要性

在當今數(shù)字化時代，數(shù)字技術(shù)系統(tǒng)（其中也包括越來越復雜供應鏈的數(shù)字管理系統(tǒng)，如網(wǎng)絡，平臺，WMS，TMS，等）無處不在，并且變得越來越復雜【3】，它大大提高了各行業(yè)的業(yè)務能力和應對不確定世界的業(yè)務彈性（包括供應鏈彈性）。然而這些系統(tǒng)也面臨著各種數(shù)字系統(tǒng)安全風險，如網(wǎng)絡攻擊，軟件病毒，功能錯誤、安全漏洞和數(shù)據(jù)不一致等。以數(shù)字供應鏈為例，據(jù)歐盟網(wǎng)絡安全機構(gòu)（ENISA）對新興供應鏈攻擊的報告【4】發(fā)現(xiàn)，供應鏈安全攻擊在增加，66% 的攻擊集中在供應商的代碼上。

圖2：供應鏈攻擊威脅態(tài)勢（來源：ENISA【4】）

據(jù)【5】報告，光網(wǎng)絡犯罪的總損失使其經(jīng)濟影響大于除美國和中國這兩個國家之外的所有國家的 GDP。網(wǎng)絡攻擊中最昂貴的部分是信息丟失，平均損失590萬美元。企業(yè)和組織正面臨如何更有效地保證數(shù)字系統(tǒng)的安全與健康的挑戰(zhàn)，于是一個數(shù)字免疫系統(tǒng)（DIS）的概念和技術(shù)趨勢應運而生。

什么是數(shù)字免疫系統(tǒng)？根據(jù)Gartner 的說法【2】，數(shù)字免疫系統(tǒng)或簡稱 DIS 是指集成軟件設計、開發(fā)、運營和分析的實踐和技術(shù)組合，以降低業(yè)務風險的系統(tǒng)。

該技術(shù)的名字借用了醫(yī)學上免疫的概念，意味著這個技術(shù)將具備自動保護和自動修復系統(tǒng)免遭攻擊造成破壞的功能。在概念和技術(shù)上是一個創(chuàng)新，它可視為數(shù)字化企業(yè)和組織的一種新型的數(shù)字免疫能力。

為什么數(shù)字免疫比以往任何時候都重要？除了前面闡述的數(shù)字化企業(yè)和組織所面臨的數(shù)字風險挑戰(zhàn)，圖3指出了當今的業(yè)多數(shù)字系統(tǒng)變得越來越智能和復雜，正向一個類智慧生物系統(tǒng)發(fā)展，極其需要類生物的免疫系統(tǒng)來維護類生物的數(shù)字系統(tǒng)的健康，以保證其正常運轉(zhuǎn)。

圖3：為什么數(shù)字免疫比以往任何時候都重要（來源：Gartner【3】）

1.1.1.2 數(shù)字免疫系統(tǒng)的六個重要功能模塊

如圖4所示，DIS具有以下六個重要功能模塊（六種做法和技術(shù)）【2】：

• 可觀察性（Observability）使軟件和系統(tǒng)能夠被“看到”。在應用程序中構(gòu)建可觀察性提供了必要的信息，以減輕可靠性和彈性方面的問題，并通過觀察用戶行為來改善用戶體驗。

• 人工智能增強測試（AI-Augmented Testing）使組織能夠使軟件測試活動越來越獨立于人為干預。它補充并擴展了傳統(tǒng)的測試自動化，包括完全自動化的測試計劃、創(chuàng)建、維護和分析。

• 混沌工程（Chaos Engineering）使用實驗測試來發(fā)現(xiàn)復雜系統(tǒng)中的漏洞和弱點。如果在預生產(chǎn)環(huán)境中使用，團隊可以以非侵入式和測試先行的方式安全地掌握實踐——然后將吸取的教訓應用到正常操作和生產(chǎn)強化中。

• 自動修復（Autoremediation）側(cè)重于將上下文相關(guān)的監(jiān)視功能和自動修復功能直接構(gòu)建到應用程序中。它會自我監(jiān)控并在檢測到問題時自動糾正問題并恢復正常工作狀態(tài)，而無需操作人員的參與。它還可以通過將可觀察性與混沌工程結(jié)合使用來修復失敗的用戶體驗，從而防止出現(xiàn)問題。

• 站點可靠性工程 (Site Reliability Engineering=SRE)是一組工程原則和實踐，側(cè)重于通過利用服務級別目標來管理服務管理來改善 CX 和保留。它平衡了對速度的需求與穩(wěn)定性和風險，并減少了開發(fā)團隊在補救和技術(shù)債務方面的工作，但允許更多地關(guān)注創(chuàng)建引人注目的用戶體驗。

• 軟件供應鏈安全（Apps Supply Chain Security）解決了軟件供應鏈攻擊的風險。軟件物料清單提高了軟件供應鏈中專有和開源代碼的可見性、透明度、安全性和完整性。強大的版本控制策略、對受信任內(nèi)容使用工件存儲庫以及在整個交付生命周期中管理供應商風險可保護內(nèi)部和外部代碼的完整性。

圖4：DIS具有六個要素（來源：Gartner【2】）

具有六個要素的DIS將產(chǎn)生巨大價值:

• 76%的數(shù)字團隊對收入負責

• 停機時間減少80%

1.1.1.3 建立數(shù)字免疫系統(tǒng)的三大要素

在建立數(shù)字免疫力時，Gartner指出要從有助于協(xié)調(diào)組織和順利實施的強有力的愿景聲明開始，然后考慮圖4中的重要功能模塊。圖5描繪了建立數(shù)字免疫系統(tǒng)的三大要素和它們的循環(huán)迭代持續(xù)改進。

1.  創(chuàng)造數(shù)字免疫的愿景

成功交付軟件的清單越來越多。該要素表現(xiàn)在不再包括滿足規(guī)范、具有彈性和提供更多功能，而是還應該專注于創(chuàng)新思維，除了缺陷計劃外，還應專注于將質(zhì)量構(gòu)建到產(chǎn)品中。換句話說，這就是構(gòu)建一個在各個方面都融合了高軟件質(zhì)量的產(chǎn)品，包括創(chuàng)建卓越的用戶體驗 (UX)，通過持續(xù)檢查系統(tǒng)健康狀況，不會因缺陷或系統(tǒng)故障而中斷。

2. 建立數(shù)字免疫力

為了建立強大的數(shù)字免疫力，軟件團隊應該采用六項重要的實踐和技術(shù)（詳見1.1.1.2節(jié)和圖4），包括：

• 軟件可見性的可觀察性，以改善用戶體驗。

• 人工智能增強測試，用于更獨立的軟件測試。

• 混沌工程涉及實驗測試以檢測復雜系統(tǒng)中的漏洞和弱點。

• 自動監(jiān)控應用程序并修復問題的自動修復。

• 站點可靠性工程 (SRE)，其中包括與增強客戶體驗 (CX) 和保留相關(guān)的工程原則和實踐。

• 解決軟件供應鏈攻擊風險的軟件供應鏈安全。

3. 去除低效的測試實踐

雖然測試在軟件開發(fā)過程中必不可少，但它一直是實現(xiàn) DevOps 團隊設定目標的最大障礙。應對低效的測試實踐進行評估，以確定將這些測試資產(chǎn)轉(zhuǎn)換為越來越自主的自動化測試水平的最具建設性的方法。此外，可以并且應該利用各種類型的手動測試來支持自動化測試。

圖5：建立數(shù)字免疫系統(tǒng)的三大要素（來源：Gartner【】）

1.1.1.4 商業(yè)價值【2】

數(shù)字免疫系統(tǒng)（DIS）結(jié)合了可觀測性、人工智能（AI）增強測試、混沌工程、自動恢復、站點可靠性工程和軟件供應鏈安全等實踐和技術(shù)，以提高產(chǎn)品、服務和系統(tǒng)的彈性。

• 數(shù)字免疫系統(tǒng)如何優(yōu)化彈性

DIS提供了一個模型，讓您的組織做好準備，以減輕潛在風險，并將失敗作為學習機會，以創(chuàng)建一個卓越的客戶和用戶體驗，從而應對失敗。

• 支持的業(yè)務戰(zhàn)略示例

  1. 建立安全穩(wěn)固的數(shù)字基礎

  2. 加速數(shù)字化

  3. 保護和發(fā)展企業(yè)和組織的品牌

1.1.1.5 關(guān)鍵行動

Gartner在【2】中預測到2025年，投資建立數(shù)字免疫力的組織將通過減少80%的停機時間來提高客戶滿意度。并建議企業(yè)和組織采取以下的關(guān)鍵行動來實現(xiàn)數(shù)字免疫系統(tǒng)這個戰(zhàn)略機會：

• 組建由高管贊助的團隊，以制定和執(zhí)行綜合安全分遣隊戰(zhàn)略。首先評估哪些業(yè)務能力具有最高優(yōu)先級或?qū)腄IS投資中獲益最多。

• 創(chuàng)建專門的實踐社區(qū)（CoP），以分享經(jīng)驗教訓、指導原則、可重用資產(chǎn)、標準、工具和任何基于AI的見解。確保DIS CoP由企業(yè)架構(gòu)師領(lǐng)導，以便代表所有相關(guān)領(lǐng)域。

• 鼓勵和獎勵整個組織的彈性改善，特別是在DIS機會上的合作，讓所有彈性相關(guān)舉措的領(lǐng)導者對改善客戶體驗負有同等責任。

• 培養(yǎng)開發(fā)、安全和運營團隊之間的協(xié)作文化，確保持續(xù)支持這些舉措。

1.1.2 應用可觀察性

1.1.2.1 概念和重要性

傳統(tǒng)上，可觀察性是一種信息系統(tǒng)的方法，它通常是企業(yè)架構(gòu)的一部分，如監(jiān)控日志，郵件，圖象等，以更好地了解日志數(shù)據(jù)正在發(fā)生的事情。它幫助我們根據(jù)外部輸出確定系統(tǒng)狀態(tài)，并允許 IT 團隊識別瓶頸，并預測內(nèi)部 IT 系統(tǒng)和面向外部客戶的網(wǎng)站、應用程序和系統(tǒng)問題，以便您可以緩解這些問題。但傳統(tǒng)的應用可觀察性對觀察數(shù)據(jù)的分析是人工或半人工的，被動式的，不具備數(shù)據(jù)驅(qū)動決策的功能。它已不適應現(xiàn)代復雜的數(shù)字系統(tǒng)和不確定的環(huán)境。于是產(chǎn)生了應用可觀測性戰(zhàn)略趨勢。應用可觀察性是一種新的監(jiān)控和故障排除方法，它通過收集與性能相關(guān)的指標和與性能無關(guān)的數(shù)據(jù)（例如跟蹤、日志和事件）并使用這些數(shù)據(jù)提供更全面的理解，從而超越了傳統(tǒng)的監(jiān)控技術(shù)系統(tǒng)內(nèi)正在發(fā)生的事情。它超越傳統(tǒng)監(jiān)控技術(shù)，超越傳統(tǒng)，它旨在提供系統(tǒng)及其所有組件的全面視角，包括這些組件如何相互交互以及它們?nèi)绾螌崟r執(zhí)行其功能。【2】指出：應用可觀測性是指在業(yè)務功能、應用程序和I/O團隊之間以高度協(xié)調(diào)和集成的方式應用可觀測數(shù)據(jù)。通過對業(yè)務上下文的語義理解，對可觀察數(shù)據(jù)進行編目、工程和分層，從而產(chǎn)生主動和被動元數(shù)據(jù)。這種元數(shù)據(jù)的架構(gòu)化使用推動了更好、更快、更一致、更有效的業(yè)務和IT決策。

1.1.2.2 應用可觀測性的四個層次

應用可觀測性的基本原理是在決策前，人工智能分析來自系統(tǒng)內(nèi)外的數(shù)據(jù)和背景，以推動更快、更準確的未來決策。它分為如圖6所示的四個層次：

圖6：應用可觀察性（來源：Gartner【2】）

【6】指出：應用可觀察性的出發(fā)點是可觀察數(shù)據(jù)（Observable Data）。Gartner定義可觀察數(shù)據(jù)為：可觀察數(shù)據(jù)是數(shù)字化的工件（有時被稱為足跡、痕跡或任何利益相關(guān)者采取任何行動時出現(xiàn)的“排氣”）?？捎^察數(shù)據(jù)是指可以觀察和直接測量的變量【6】。它具有以下特征：

• 觀測數(shù)據(jù)的主要來源-通常來自一個或多個現(xiàn)有系統(tǒng)

• 可以與企業(yè)數(shù)據(jù)一起使用的外部數(shù)據(jù)源

• 目標是以零或更可能有限的邊際成本增加數(shù)字客戶價值

應用可觀測性的最關(guān)鍵要素包括：

• 民主化的機會——每個組織都有大量數(shù)字化工件形式的可觀測數(shù)據(jù)。

• 多個并發(fā)層–適用于組織的多個層：基礎架構(gòu)操作、中間件、應用程序、數(shù)據(jù)、功能工作流和業(yè)務流程層。

• 隨著宏偉計劃（藍圖）的增加——必須在整個組織內(nèi)制定強有力的總體戰(zhàn)略計劃或藍圖。成功取決于貫穿職能業(yè)務部門的高度協(xié)調(diào)和集成的方法。

1.1.2.3 商業(yè)價值

應用可觀測性是指在業(yè)務功能、應用程序、基礎設施和運營（I&O）團隊中以高度協(xié)調(diào)和集成的方式應用可觀測數(shù)據(jù)，以實現(xiàn)從行動到反應的最短延遲，以及業(yè)務決策的主動規(guī)劃。

• 應用可觀測性如何優(yōu)化操作

應用可觀測性使企業(yè)能夠更快、更準確地做出未來決策。通過系統(tǒng)地應用這一點，我們可以減少響應延遲并實時優(yōu)化業(yè)務運營。

• 支持的業(yè)務戰(zhàn)略示例

  1. 建立穩(wěn)固的基礎

  2. 加速數(shù)字化

1.1.2.4 關(guān)鍵行動

Gartner在【2】中預測到2026年，70%成功應用可觀測性的組織將實現(xiàn)更短的決策延遲，從而為目標業(yè)務或IT流程帶來競爭優(yōu)勢。并建議企業(yè)和組織采取以下的關(guān)鍵行動來實現(xiàn)可觀察數(shù)據(jù)這個戰(zhàn)略機會：

• 將您的可觀察數(shù)據(jù)視為您最寶貴的貨幣化資產(chǎn)。專注于從主動和被動元數(shù)據(jù)中識別業(yè)務能力和用例，以獲得競爭優(yōu)勢。這將為戰(zhàn)略性地協(xié)調(diào)多個并發(fā)可觀測性計劃奠定早期基礎。

• 通過將組織的重點從監(jiān)控和反應轉(zhuǎn)變?yōu)閼每捎^察性，以盡可能短的延遲推動主動決策。

• 為組織采用應用可觀測性鋪平道路。通過關(guān)注業(yè)務、應用程序和基礎架構(gòu)層的范圍來做到這一點。

1.1.3 人工智能信任、風險和安全管理

1.1.3.1 產(chǎn)生背景、概念和重要性

• 世界正處于通過人工智能和數(shù)據(jù)分析徹底改變許多行業(yè)的風口浪尖。已經(jīng)在金融、國家安全、醫(yī)療保健、刑事司法、交通和智慧城市中進行了重大部署，這些部署改變了決策制定、商業(yè)模式、風險緩解和系統(tǒng)性能。這些發(fā)展正在產(chǎn)生可觀的經(jīng)濟和社會效益。本文作者曾在【7】中指出：“人工智能是重塑數(shù)字化供應鏈的戰(zhàn)略性武器。它將引領(lǐng)供應鏈走向認知，和自主、自適應、自愈的供應鏈更高級階段，從而幫助企業(yè)實現(xiàn)創(chuàng)新、持續(xù)增長，并且在不確定環(huán)境中規(guī)避風險，保持競爭優(yōu)勢?！保叭斯ぶ悄芄溰浖氖袌鲆?guī)模約為7億美元，預計到2025年將激增至100億美元以上，相當于每年增長約45%。”

• 人工智能 (AI)被證明是一把雙刃劍。雖然大多數(shù)新技術(shù)都可以這樣說，但 AI 刀片的兩面都更加鋒利，而且兩者都沒有得到很好的理解。最近OpenAI發(fā)布了它的不同尋常的對話機器人ChatGPT，它的類人式的聰慧震撼了世界科技和工業(yè)界。正如埃隆?馬斯克（曾是創(chuàng)始人之一）在阿聯(lián)酋迪拜的2023年世界政府峰會上表示，ChatGPT證實了人工智能（AI）已經(jīng)獲得了令人難以置信的發(fā)展，但這已成為人類應該擔心的一件事。馬斯克在視頻發(fā)言中強調(diào)，人工智能是未來人類文明最大的風險之一。他補充稱，“它有積極的一面，也有消極的一面，有巨大的前景也有巨大的能力，但隨之而來的危險也是巨大的?！薄耙院思夹g(shù)為例，我們有核能，但也有核彈?！?

• 首先考慮AI積極的一面。AI技術(shù)開始以多種方式改善我們的生活，從簡化我們的購物到增強我們的醫(yī)療保健體驗。它們對企業(yè)的價值也變得不可否認：近 80% 正在部署 AI 的公司高管認為他們已經(jīng)從中看到了AI的價值。盡管 AI 在商業(yè)中的廣泛應用仍處于起步階段，關(guān)于進展速度以及實現(xiàn)“通用智能”圣杯的可能性仍存在疑問，但潛力是巨大的。麥肯錫全球研究院的研究表明【8】，到 2030 年，人工智能每年可為全球帶來 13 萬億美元的額外經(jīng)濟產(chǎn)出。

• 然而，即使人工智能為消費者帶來利益和商業(yè)價值，它也帶來了一系列不必要的、有時甚至是嚴重的后果。最明顯的問題，包括侵犯隱私、歧視、事故和操縱政治制度，足以引起人們的警惕。更令人擔憂的是尚未知曉或經(jīng)歷過的后果。災難性的后果——包括人類生命的損失，如果人工智能醫(yī)學算法出錯，或者國家安全的妥協(xié)，如果對手向軍事人工智能系統(tǒng)提供虛假信息——是可能的，對組織來說也是重大挑戰(zhàn)。

• AI TRiSM的產(chǎn)生正是為了保護AI積極的一面，使其獲得信任而造福于人類，同時是為了防止其具有潛在可能破壞性的一面，而降低AI的風險，保證其使用的安全性。

• AI TRiSM 是 AI (T)rust、(Ri)sk 和 (S)security (M) 管理的簡寫。用 Gartner 的話說，AI TRiSM “確保 AI 模型治理、可信度、公平性、可靠性、有效性、安全性和數(shù)據(jù)保護。這包括模型可解釋性和可解釋性、人工智能數(shù)據(jù)保護、模型操作和對抗性攻擊抵抗的解決方案和技術(shù)?！?

• 如圖7所示，AI TRiSM將不可管理的AI風險轉(zhuǎn)變可管理的風險，它在AI交付中建立信任、風險和安全管理，從而優(yōu)化了AI的信任。AI TRiSM具有以下四個功能支柱：

• 可解釋性/模型監(jiān)控（Explainability/Model monitoring）

• 模型操作管理（ModelOps根據(jù) Gartner 的定義，ModelOps“主要關(guān)注廣泛的可操作人工智能和決策模型的治理和生命周期管理，包括機器學習、知識圖譜、規(guī)則、優(yōu)化、語言和基于代理的模型”。）

• AI應用安全（AI application security）

• 隱私（Privacy）

圖7：人工智能信任、風險和安全管理（來源：Gartner【2】）

• 人工智能是一種強大的、多樣化的工具，用于解決當今世界上無數(shù)的問題。Spotify 上的推薦歌曲人工智能。谷歌地圖上的推薦路線人工智能。欺詐分析、數(shù)十億美元的證券交易、自動駕駛汽車、接受或拒絕貸款申請和工作申請？你猜對了，人工智能。雖然顯然很強大，但我們必須認識到，工具從成功中獲得的好處通常與其失敗的影響相當。就人工智能而言，失敗可能意味著數(shù)百萬的聲譽、法律或經(jīng)濟損失。這就是 AI TRiSM 很重要的原因——防止此類錯誤。

1.1.3.2 AI TRiSM 的商業(yè)價值

• 人工智能需要傳統(tǒng)控制無法提供的新形式的信任、風險和安全管理。新的AI TRiSM功能可確保模型的可靠性、可信度、安全性和隱私性。

• AI TRiSM如何優(yōu)化信任

• AI TRiSM在AI采用、實現(xiàn)業(yè)務目標和用戶接受度方面推動了更好的結(jié)果。

• 支持的業(yè)務戰(zhàn)略示例

• 建立穩(wěn)固的AI基礎

• 最大化數(shù)據(jù)價值

• 保護和發(fā)展您的品牌

1.1.3.3 關(guān)鍵行動

• Gartner在【2】中預測到2026年，實施人工智能透明度、信任和安全的組織將看到其人工智能模型在采用率、業(yè)務目標和用戶接受度方面實現(xiàn)50%的結(jié)果改善。并建議企業(yè)和組織采取以下的關(guān)鍵行動來實現(xiàn)AI TRiSM這個戰(zhàn)略機會。

• 建立一個組織工作組或?qū)ｉT的單位來管理您的人工智能TRiSM工作。

• 實施集體人工智能隱私、安全和風險管理，以改善人工智能業(yè)務成果，而不僅僅是為了合規(guī)。

• 作為全面AI TRiSM計劃的一部分，在您的組織中有效地管理最佳工具集。

• 通過使用開源工具或增加價值的供應商解決方案，使您的AI模型可解釋或可解釋。

• 實施保護AI模型使用的數(shù)據(jù)的解決方案，并準備針對不同的用例及其組件使用不同的數(shù)據(jù)保護方法。

• 通過使用確保模型和數(shù)據(jù)完整性的解決方案，將風險管理納入模型運營，并不斷驗證其運行是否可靠。

1.1.3.4 市場指南

• 人工智能提出了傳統(tǒng)控制無法解決的新的信任、風險和安全管理要求。Gartner 2021年就發(fā)布了AI TRiSM的市場指南【9】，該指南定義了數(shù)據(jù)和分析領(lǐng)導者必須具備的新功能，以確保模型的可靠性、可信度和安全性，并介紹了實現(xiàn)這些功能的代表性供應商。

• （1）市場定義

• AI 信任、風險和安全管理市場 (AI TRiSM) 包括多個確保 AI 模型的軟件部分；治理、可信度、公平性、可靠性、有效性、安全性和數(shù)據(jù)保護。這些工具包括解決方案；模型可解釋性和可解釋性、AI數(shù)據(jù)保護、模型操作（ModelOps ）、數(shù)據(jù)異常檢測和對抗性攻擊抵抗。結(jié)合使用本市場指南中定義的五個類別的解決方案，可幫助企業(yè)實施特定于 AI 的信任、風險和安全管理措施。

• （2）市場描述

• AI TRiSM 市場包括管理 AI 引入的新風險和威脅所必需的多個部分。AI TRiSM 的核心功能在圖8中按類別顯示。沒有一家平臺供應商涵蓋人工智能威脅和風險的所有領(lǐng)域和方面。因此，用戶必須從本市場指南中提供的不同類別中選擇供應商或開源工具，以實現(xiàn)自己的最佳選擇。

• 除了選擇 AI TRiSM 產(chǎn)品外，企業(yè)還必須確保實施 AI 前威脅緩解措施，并適當關(guān)注新的 AI 環(huán)境——包括支持數(shù)據(jù)和 AI 模型。例如，他們必須對 AI 培訓和生產(chǎn)數(shù)據(jù)實施嚴格的訪問控制。此外，組織必須采用特定于 AI 威脅緩解的新技術(shù)，如 Gartner 的安全MOST 框架的“措施”列所示【9】，該框架概述了 AI 前和 AI 后威脅緩解措施。

• （3）AI TRiSM五大支柱

• 圖8描繪了AI TRiSM五大支柱，但其中不包括獨立于 AI 存在的基本安全功能。可據(jù)此構(gòu)建有效的人工智能安全解決方案：

• 可解釋性（Explainability）：AI TRiSM 應該有清楚解釋 AI 模型采用的信息。這有助于組織理解他們的 AI 模型解釋及其 AI 模型在準確性、問責制和透明度方面的表現(xiàn)。

• 模型操作（ModelOps）：模型操作化 (ModelOps) 是 AI TRiSM 中的一項功能，專注于端到端生命周期管理和分析治理。人工智能和決策模型包括分析模型、基于機器學習的模型、知識圖譜、語言學、規(guī)則等。

• 數(shù)據(jù)異常檢測（Data Anomaly Detection）：在人工智能中，數(shù)據(jù)異常檢測涉及漂移監(jiān)控和異常、錯誤和困難的檢測。AI TRiSM的這一支柱通過全面的 AI 數(shù)據(jù)可見性幫助組織提高績效。

• 對抗性攻擊抵抗（Adversarial Attack Resistance）：攻擊是人工智能威脅，涉及欺騙性數(shù)據(jù)，以改變機器學習算法來破壞人工智能功能。AI TRiSM 旨在通過檢測、防御、工件定位和對抗性學習來檢測和防止對抗性攻擊。

• 數(shù)據(jù)保護（Data Protection）：人工智能技術(shù)創(chuàng)造并使用大量數(shù)據(jù)。保護數(shù)據(jù)至關(guān)重要，因為數(shù)據(jù)泄露可能會造成重大損失。這種損害包括經(jīng)濟損失、聲譽損害、安全和健康威脅。AI TRiSM 有助于治理和監(jiān)管，例如通用數(shù)據(jù)保護條例 (GDPR)。

圖8：AI 信任、風險和安全管理支柱（來源：Gartner【9】）

（4）AI TRiSM市場的未來方向

Gartner 的市場指南還指出了AI TRiSM未來發(fā)展的5個階段（見圖9）：

• 第 1 階段——碎片化：當今的 AI TRiSM 市場高度分散。AI 供應商（本市場指南提供了 Gartner 對市場的初步報道，并側(cè)重于市場定義、市場原理和市場動態(tài)。）并未提供有效和持續(xù)管理 AI 信任、風險和安全的所有必要功能。這使用戶處于這樣一種境地，他們可以從主要 AI TRiSM 類別中選擇多個供應商來提供同類最佳產(chǎn)品來滿足這些要求。

• 第 2 階段—功能整合：AI TRiSM 功能將從目前的五個. ModelOps和數(shù)據(jù)保護將是解決 AI TRiSM 問題所需的主要兩個供應商類別（一流的ModelOps解決方案，其中模型是控制所圍繞的中心實體，將與現(xiàn)有的企業(yè)系統(tǒng)集成，例如 IAM、威脅情報和對抗性攻擊抵抗解決方案。這樣，企業(yè)可以全面了解其模型的風險，并使用相同的管理系統(tǒng)管理模型周圍的訪問和安全性。）。同時，AI 供應商將擴展自己封裝的 TRiSM 功能。

• 第 3 階段 — 解決方案集成：ModelOps警報和補救措施將集成到總體和現(xiàn)有的企業(yè)風險管理和安全編排系統(tǒng)中。企業(yè)使用的第三方模型將納入ModelOps平臺管理（超越企業(yè)第一方開發(fā)模型）。針對對抗性攻擊和惡意交易的警報和補救措施將集成到現(xiàn)有的安全編排或 SIEM系統(tǒng)中。

• 第 4 階段——市場整合：當今市場上大多數(shù)與模型和平臺無關(guān)的ModelOps供應商將被更廣泛的 AI 平臺供應商或企業(yè)風險管理供應商收購，只剩下極少數(shù)純粹的ModelOps供應商。這些整合平臺將與創(chuàng)新解決方案共存，將功能擴展到復合 AI 和生成 AI。AI 模型數(shù)據(jù)的數(shù)據(jù)保護將繼續(xù)從用于保護 AI 應用程序之外的數(shù)據(jù)的解決方案發(fā)展而來。

• 第5階段——增強型 AI 管理的 TRiSM：將出現(xiàn)新的端到端完全管理的企業(yè) AI TRiSM系統(tǒng)，它們本身使用 AI，以便 AI 系統(tǒng)可以在人類監(jiān)督下自我糾正（見圖9）。

圖9：AI TRiSM市場的未來方向（來源：Gartner【9】）

Gartner預計市場將快速發(fā)展，部分原因是法規(guī)的增加和人工智能模型運行能力的增強。隨著時間的推移，新一代的組合功能將會出現(xiàn)，【9】預計 AI TRiSM 市場將在2026年達到第 5 階段。

（5）市場建議

管理 AI 信任、風險和安全對于確保 AI 模型滿足業(yè)務需求并按預期和預期執(zhí)行至關(guān)重要。如果沒有強大的 AI TRiSM 程序，企業(yè) AI 模型可能會對業(yè)務產(chǎn)生不利影響，從而導致不利的模型結(jié)果、嚴重的聲譽損害和其他負面后果——所有這些都不為負責團隊所知。

數(shù)據(jù)和分析領(lǐng)導者必須與負責AI TRiSM 的組織同行合作，以：

• 使用 Gartner 的 MOST 框架建立有凝聚力和重點的信任、風險和安全管理計劃。

• 選擇并有效管理最佳工具集，作為綜合 AI TRiSM 計劃的一部分，假設企業(yè)中已有的 AI 平臺不支持所有必需的 AI TRiSM 功能。

• 使用此市場指南了解現(xiàn)有工具集的類別，根據(jù)需要評估不同的同類最佳解決方案，并利用這些解決方案實現(xiàn)全面的 AI TRiSM。

• 將信任、風險和安全管理納入 AI 模型的持續(xù)開發(fā)和運營流程。

• 監(jiān)控進度并就剩余風險和尚未達到理想成熟度的細分市場進行溝通。

• 通過仔細選擇最合適的工具集，為組織的動態(tài)市場變化和整合做好準備。

（6）Gartner的MOST AI信任、風險和安全管理框架

圖10描繪了MOST AI信任、風險和安全管理框架，該框架包括先前（前）的風險安全管理框架（蘭色部分）和AI后的風險安全管理框架（紅色部分）。它包括三個關(guān)鍵領(lǐng)域，每一列是一個領(lǐng)域：

• 威脅向量（Threat vector）

• 破壞類型（Types of damage）

• MOST風險管理措施（MOST Risk management measures）

【10】指出：組織采用Gartner 的 MOST 框架管理 AI 風險必須組建對 AI 結(jié)果有既得利益的跨職能團隊，例如法律、合規(guī)、數(shù)據(jù)和分析、安全和隱私方面的團隊，共同努力執(zhí)行其 5 大優(yōu)先事項：

1. 通過清點組織中使用的 AI 來捕獲暴露程度，并確保適當?shù)目山忉屝运健?

2. 通過領(lǐng)導正式的 AI 風險教育活動，提高整個組織的員工意識。

3. 通過采用數(shù)據(jù)保護和隱私計劃來消除內(nèi)部和共享 AI 數(shù)據(jù)的暴露。

4. 通過將風險管理納入模型操作來支持模型的可靠性、可信度和安全性。

5. 針對對抗性攻擊采取特定的 AI 安全措施，以確保抵抗力和彈性。

圖10：MOST AI信任、風險和安全管理框架（來源：Gartner【9】）