【若水AI數據處理團隊總結兩大要點】
1, AI落地，從小地方開始：從小的地方開始命題，逐步訓練、累積不同的AI數據分析模型，最後整合成一套完整的、自動化的系統。
2, AI落地，是持續優化的過程：機器學習模型並非萬能，需要不斷測試、優化，才能時刻符合現況，保有競爭力。
趨勢科技作為全球排名前三的雲端資安公司，旗下開發許多防毒軟體和相關產品，這些產品就像遍布全球的感測器，幫企業防堵資安攻擊或釣魚事件。每天超過10T的大量數據資料需要處理，不僅耗時、也耗費人力。
若水AI邀請趨勢科技資料科學家周秉誼（Ricky），一同分享趨勢團隊是如何在有限的人力裡，運用AI數據分析技術，優化現有流程，降低80%數據處理成本。
黃金三角架構，趨勢用 AI 讓大數據「化廢為寶」
趨勢投入AI的時間大概可以回溯到 2005 年左右，在這些年的經驗中，針對 AI 運用形成了一個由「AI 資源」與「客戶價值」組成的 2*2 的思考框架，接著會引導你去選擇投入的組合，是用來降低成本？優化工作流程、產品或是服務？又或者開發新市場？
趨勢每天面對超過7億個不同的檔案來源，要怎麼用有限的人力，把這些惡意的東西找出來？這就是趨勢需要AI的原因。
過去，如果用人力逐一分析，會耗費相當多的時間與資源，特別是遇到「快速變動」的惡意程式、惡意攻擊事件，更是讓人頭痛。同時，有限人力所能分析的數據僅是冰山一角，無法深入洞察每天超過7億個不同的檔案，如此造成許多數據變成「閒置資源」。
我們從專案組織架構下手，組成一個由資安專家、大數據、AI機器學習組成的「黃金三角」，讓AI從中協助、將閒置的海量資料，變成有價值的數據洞察。
大量資料是推力，也是助力
初期整合，這三大要素缺一不可。只有資安專家，無法處理海量資料；而只有大數據，只能單純做初步的資料處理，無法訓練一套能長久運作、深度學習的分析系統。
首先，需要資安專家來定義「何為攻擊事件」、「何為惡意程式」，幫助AI數據模型建立判斷標準。
接著是每天收集、儲存、處理的大數據（Big Data）。
有了龐大數據資料庫後，還需要聯合數據科學家（Data scientists）或是 AI機器學習專家，去分析先前儲存的數據，讓它們發揮最大價值。
實際上怎麼做呢？
AI技術落地資安領域，降低80%數據處理成本
在過去，防毒軟體藉由掃描電腦的文件檔案，偵測是否存在不利於資料安全的惡意程式。因為無法單從外表判斷檔案是好是壞，所以要讓所有檔案先在名叫「沙盒（sandbox）」的虛擬環境中運作一次，才能確實偵測出惡意程式。
然而，一個組織單日可能收到上萬個檔案，若讓每個檔案逐一在沙盒執行，其實是件速度慢、且浪費資源的事情。
趨勢科技設計的AI機器學習系統並不複雜，一次只專注做一件事，就是去快速過濾全部的檔案，然後收集各種惡意程式的特徵 ，判斷檔案是否可疑。
接著在 AI 模型初步判讀過的檔案中，隨意篩選其中1/5檔案進入沙盒運作，剩下的4/5直接使用 AI 模型的判讀結果。如此一來，已經可以節省80%的數據處理成本。
也許你會覺得，這樣的AI模型並不完美。但對我們來說，僅僅抓取1/5的檔案，便省下80%的成本，這件事讓我們學到：
在AI專案一開始，不見得都要做到非常完整、龐大 ，一次解決所有問題。你大可從小地方開始，運用不同的AI模型，解決專案裡不同部分的問題，確認模型已經可以解決問題，累積起來再把所有的模型組在一起，變成完成的解決方案。
人工智慧並非萬能，需要持續養成
導入AI模型後，趨勢不再需要依循傳統判斷垃圾信件的方式，省去大量人力成本。照理來說，建立完一套自動化的系統，團隊也應該功成身退？其實不然。
資安是一個變動非常快的產業，每個月的新病毒都長得完全不一樣，隨著時間過去，機器學習模型的效能可能會越來越差。因此，該如何設計一套即時修補錯誤的機制與偵測錯誤的工具，是維運階段值得思考的問題。
任何一套人工智慧，或者機器學習模型的服務上線以後，它並不是結束，而是一個開始
在傳統軟體的開發過程中，軟體上線後還需要有人不斷地去監控、測試它的效能，看有沒有錯誤需要再修改。這是一個需要不停互動的過程。
要導入AI，不需要每次都全部「砍掉重練」，而是應該先想辦法讓AI技術與現有的系統整合。
舉個例子，以下漏斗是資安防護的運作機制。在第一層的，透過網絡、檔案靜態行為的偵測，運用兩、三個不同的AI模型，然後還有一些傳統方法搭配。如果在第一層無法判斷檔案是好是壞，系統會將它轉送第二層的AI模型，這個階段判讀的多為網路上發動的惡意攻擊、偷渡式下載、惡意廣告等動態行為。
面對AI，我們的作法並不是把舊的東西完全捨棄，而是讓新、舊整合在一起，產生多層保護（layer protection），發揮一加一大於二的效果。
利用這樣的新舊整合，一方面可以很快地用AI技術去存取可疑程式的數據特徵，讓機器學習模型更完整，另一方面也可善用傳統的資安防護方法，以確保當新的機制犯錯時，系統可以即時用這些已經被多次測試的舊方法補足。
透過這個project，我們學習到：
當組織導入AI，並不用把過往的架構整個砍掉重練，這樣子風險會非常、非常大。同時，也不要讓AI單打獨鬥，而是想辦法與現有的系統整合。
我想再一次強調，AI落地的歷程，一開始並不會完美。就算只能做到目標的80%，也還是很有助益，主其事者該思考的是如何將AI與現有系統整合，才能針對這些真實世界的traffic去調整模型l，讓AI早日結合到真實世界的運作流程。
