in

及時回饋系統,讓卡關成為每天創新的最佳來源

文/ 若水 Flow AI Blog 編輯團隊

【若水 AI 數據標註心法】

1, 不管標註條件有多少,都要簡化成讓人最好記的一句話。

2, 人都會有盲點,要過數據分析,讓對的人在對的專案裡。

3, 持續溝通與優化,集合眾人智慧標註,才能提升質與量。

AI 數據標註工作現場是什麼樣子呢?

專案管理會議上,一群人盯著客戶交付的智慧車流影片想找出端倪。不知道為什麼,所有車種裡,就只有大卡車的數據標註良率莫名的低。一批又一批的需求,得在限時內完成,為的就是趕上開發進度,助攻客戶拿下大單。

大家從 AI 數據裡找答案,突然,有人大喊,「啊!因為大卡車的後照鏡比其他車種長而且突出,難怪會忘記要標。」找到原因之後,PM 們第一時間透過線上軟體回饋給 AI 數據標註師,漏標的發生率從 20~30% 降到 1~2%,再次拉高專案良率。

圖/ 專案初期、大小貨車標記錯誤發生率比大客車高。而當標記大小貨車的錯誤率大幅下降時,大客車(公車、巴士)仍有很高的錯誤率;後來發現,這是因為大客車的後照鏡特別容易被忽略

這樣的場景幾乎每隔幾天,就在若水 AI 的部門出現。在 PM專案經理的 John 眼裡,整個過程就像在解謎,

「而解謎有個循環,先發現問題,然後收集各式各樣的數據,每一種 AI 數據都在為下一次的謎題提供可能的解答」


AI數據標註的究極精神

外界總好奇,若水AI 部門如何在一年多內建立起標註的能量,並且與全台灣 200 位身障夥伴協作,完成超過 100 個 AI 人工智慧專案?

在快速變化的 AI 產業裡,AI數據標註的需求往往來得很急、且交期短。由John所帶領的專案管理團隊負責設計工作方法、優化產能和品質檢測,就像幫浦般架在整個標註作業的核心,扮演即時改善和回饋 AI 專案的角色。

隨著愈來愈多企業採用 AI 優化作業流程,或是開拓新的商業模式,AI 數據標註(Data Annotation)成為企業資源決策的新選項:自己做還是外包?

(延伸閱讀:數據標註原來可以這麼省事!)

不少公司在 AI 專案起跑之初,會先讓工程師先下好 AI 數據標註原則,再找人標註或由工程師繼續完成,這麼做實務上容易碰到 3 個卡關之處:

1, 工程師的語言不等於 AI 數據標註者的語言

2, 根據 AI 模型需求下標註條件時,寫成文字都能理解,但要下判斷卻很不容易


3, 人都會有某些認知偏誤,並非所有的 AI 數據標註類型都能順利完成

很多時候,若水的專案管理團隊就像工程師的第一個讀者,試讀各種 AI 數據標註條件是否清楚、簡潔。像指紋辨識,John 和團隊在接案時就隱約有感,這類型的案子因為一般人實際生活經驗很少碰到,必須要花時間「翻譯工程師的指令」,才能幫助 AI 數據標註師進入情境。

所以,在任何 AI 數據標註案啓動之前,若水專案團隊不是沒日沒夜地,像血汗工廠般猛標。反而

寧可先花些時間理清脈絡,透過討論、試做,找到最合適的 AI 數據標註方法

後續發給 AI 數據標註師執行時,前三天會持續收集良率表現,並分析各種破關和卡關類型,讓團隊表現能在最快時間拉到預定良率目標。

在 John 的電腦裡,就記錄著各式各樣的「卡關」,「因為標的案子很多元,我們知道哪些坑比較容易踩」他笑說。

比方說,「車子只要在畫面中出現 ⅔ 就框起來」只要有分數概念,對這個句子絕對能理解,但換到電腦前要下判斷,卻常讓人卡關。

幾次經驗下來,若水的專案團隊發現:對人類大腦來說,偶數的切割比奇數簡單,所以便回頭建議工程師將 ⅔ 改成 ¾。

即便已經找到比較好取的「¾」 ,從大腦認知轉向電腦標註,也並非所有人能很快下判斷。所以,在若水的標註平台收集大量 AI 數據標註師的行為數據,依此設計出許多用顏色、座標、快捷鍵等即時工具,幫助 AI 數據標註師快判

尤其在電腦影像部分(Computer Vision),現在要求愈來愈精細、銳利,但人的大腦對像素多少很難有感。在若水 AI 數據標註平台上,AI 數據標註師只要看拉框顏色,即可判斷物件像素大小,一旦框線變色,就代表框選大小符合指定條件,大幅提升標註速度,不用還瞇著眼睛找數字。


集合眾人智慧做標註

除此之外,若水AI數據標註團隊也透過各種溝通形式,從 AI 數據標註師身上找點子,讓 AI 數據標註質量快速提升。

最近有個案子,要在連續畫面裡不斷放大、縮小,找出同樣的物件,有些標註師腦筋動得快,把這些重覆的動作編寫成指令,滑鼠鍵一按就自動執行。每天,若水專案團隊追蹤數據,發現這位 AI 數據標註師的表現特別優異,一問之下才知道他的祕技,便鼓勵他在公開會議上分享,也帶動整體專案表現。

「把 5 秒的動作,變成在 0.5 秒完成,產能就是這樣提升,」John說。

好幾次,若水執行長陳潔如在公開演講、論壇上提到內部即時回饋的經驗,總讓台下許多企業主管驚訝不已。

她坦言,跟一般企業相反,在若水因為多數是身障夥伴,得要有良好的回饋系統,才能確保工作暢通。然而,這先為著使用者思考的工作設計,無形之中也讓若水能實踐 PDCA(Plan-Do-Check-Act)循環式品質管理

圖/ 取自經理人雜誌

未來呢?

專案團隊正在行為數據資料庫,結合 EAP (員工支持系統) 的經驗,記錄每一次專案、每個標註師的行為表現。他們很清楚,每個人的專長不同,有人擅長拉框、有人很會描點,有人擅長辨識模糊場景,要從數據找答案,讓對的標註師做對的專案。

此外,還要幫助標註師能標得更精準。例如,建立「即時雷達」,從各項專案經驗值定義每個動作的平均時間、容許編輯修改的次數,超過標準,立馬線上提醒標註師得調整動作,做得好的給予即時鼓勵。

靠著回饋系統與科技平台的力量,若水讓身障夥伴有機會跟平常人一樣進入 AI 產業貢獻心力,同時有一份自己的收入,降低對家庭的依賴。John 有個心願,幫助標註師發揮人的最大價值--

在 AI 快速起飛的時代,做到獨一無二的事」。


【推薦閱讀】

1, 智慧製造的應用有流程自動化預測性分析 ➡️➡️ 怎麼加速製造AI化?來看英業達」的經驗談

2, 相較於土法煉鋼去蒐集使用者回饋資料,用AI 音樂辨識演算法可以快速獲得大量的資訊! ➡️➡️ 來看被蘋果併購的Shazam是怎麼做到的吧

當 Alexa 成為聲控帝國/肯德基的 AI 大計/用 AI 選人才

10大重要 AI 戰略,你掌握了幾項?