圖片來源:Unsplash

AI數據處理PM的日常:標註專案流程,還可以怎麼玩創新?

文/若水 Flow AI Blog 編輯團隊

數據標註是個耗時又燒腦的工作,偶爾還會遇到標註原則無法涵蓋的特殊狀況,往往讓企業內部負責標註的AI工程師們大概也很頭痛。

若水在全台有近200位AI數據標註師,每天盯著電腦螢幕,先根據腦中的專業知識將眼前一張張的圖片分類,再移動滑鼠在圖片拉框、描點、下標籤,每天重複上百次、上千次動作。這樣重複的日常,反而激發了若水AI團隊血液裡那股想要改善現況、做到更好的「創新魂」。

「專案流程還有可能被優化嗎?」

「有沒有IT技術可以進場加速的地方?」

周一的例行會議上,PM們總會聚在會議桌前,討論還有什麼作法可以讓專案流程更順,更省力。最後談著談著總會發現,問題往往指向標註原則、標註項目和圖資判斷,這三個還是和人腦判斷最習習相關的環節。

以下整理出三種常見情境,如果你是AI專案的PM,會如何解決這些日常小問題?

情境1:雖然標註原則很明確,但標註起來很花時間,怎麼辦?

團隊曾經接過一個人形辨識專案,需要判斷一群人在監控畫面中的頭部位於哪個角度(0°、45°、90°、180°),PM當時收到的標註原則是:

「請用東南西北的方位,加上人物與畫面中的任一水平垂直面之間形成的切角來判斷。」

看完這段話,你的腦中有浮現如何標註的想像畫面嗎?

有了上述原則,其實就可以直接開始動手標註,但每張圖資裡面可能同時有十幾位站在不同距離,面向不同的角度的人,如果要認真的逐一判斷,一張圖片可能就要花上十幾、二十分鐘。不只專案效率上不去,無形中也會造成客戶在過程中需要來回與若水溝通確認、以及後續驗收成品時的時間成本。

因此,我們建議客戶修改原則,用「眼睛的數量」當成判斷標準,以節省雙方判斷的時間。

  • 如果人物的兩隻眼睛都看得到就是0度(正面);看不到就是180度(背面)。
  • 如果看得見人物的一隻眼睛和半張臉,就是90度(正側臉);看得到兩隻眼睛,但是有半邊側臉看不見,就是45度(斜側臉)。

客戶聽到這樣的反饋,也覺得判斷起來簡單許多,後續這個專案便依循若水給的建議進行。

情境2:要標註的項目太多元,人腦容易記不住,怎麼辦?

一個數據標註專案通常會包含不同的標註需求,例如辨識車牌的AI應用,就需要先用滑鼠拉框(bounding box)把車牌邊線框起來,再切換到鍵盤打字的方式,把車牌號碼記下來。

當這樣的動作重複很多次,標註師難免會出現拉了框卻忘記打字的情況,不只造成專案產能降低,後續的QC檢核成本也會因此上升,怎麼辦?

團隊透過數據dashboard觀察到這個現象後,立即調整工作流程,把同一個專案裡的標註師產線化。

我們根據過去記錄下來的數據,掌握了每位標註師的擅長的專案類型,依此把人分成兩批,一批純做拉框,另一批純做打字。調整過後,專案的整體速度也成功的提升了20~30%。

另外一個案例是人體關節標註,需要一路從頭部開始,連續標出肩膀、手肘、手腕等17個關節的部位,並針對每個部位下標籤。但每次點完關節點,都需要移動滑鼠選擇標籤,重複性很高且耗時。

這類專案因為有一定規律可循,不需要每次都依靠人腦判斷,很適合用科技自動化來解決。但市面上也找不到類似的開源工具可以用,怎麼辦?

後來,PM們找RD一起商討對策,自行開發出一套自動化標註工具,當標註師標註完肩膀時,就會自動帶入下一個目標部位手肘的標籤,不只提升專案標註效率,也減少誤判的機率。

情境3:圖資的原則很主觀,怎麼讓全體標註師做出客觀一致的判斷?

在數據標註專案中,常常聽到客戶說:「太模糊的圖資不要標註」。你一定會想追問,模糊的定義是什麼?如何讓200位標註師對於模糊判定的想法,都一模一樣呢?

對於模糊的定義,每個人都有自己主觀的判斷,見仁見智。所以需要有客觀的量化指標,來幫助所有人都在相同標準上。

團隊使用開源智慧工具,讓工具自動分析出每一張圖片的模糊係數,給出從0到100的客觀數值。我們根據BRISQUE(影像品質評估標準)的國際標準,用不同模糊程度的照片做出了一張「模糊菜單」,讓客戶可以看著這張菜單點餐,核對彼此對於這次的專案,需要標註到多模糊或多清晰的程度,也加快標註判斷的速度。

圖片來源:google商用網路素材後製

不只是模糊程度,對顏色的認知也是一個重點。像是在自駕車的專案中,客戶提供的檔案裡面混雜了夜間紅外線攝影機所拍攝的灰階圖資,和一般攝影機拍出來的彩色圖資。相較於彩色圖資,灰階圖資裡面攜帶的資訊量較少,也比較難訓練。如果把兩者一起餵進模型裡面訓練,可能會大大加深模型訓練的難度,因此需要明確的分群處理。

這項工作雖然難度不高,但判斷起來卻很花時間。這種時候,我們可以使用開源的圖片顏色標註工具,用工具自動分析該圖片的顏色,不僅加速了判斷時間,也順帶避免因為人的主觀誤判造成的品質不一。

希望這些輕鬆但不簡單的日常情境,希望為大家在數據落地的過程帶來新的思考角度和方法,期待下次見!

💡 延伸閱讀:
1.訓練數據太多,如何去蕪存菁?以終為始的前期數據處理三步驟
2.AI專案一直卡關,為什麼?
3.精準AI數據,怎麼產生?

【3分鐘看AI大事】這新創靠衛星賣數據準備上市/怎麼學馬斯克不斷創新/蘋果精簡健康專案

【3分鐘看AI大事】用AI為台灣隱型冠軍加值/眼鏡電商如何用科技再創新/小米收購中國自駕新創