RD開發出好的AI模型，PM也做足了前期市場調查，掌握大量使用者數據，是否就能保證AI產品上市能夠順利落地變現，並且持續scale up？
若水AI團隊專訪了前趨勢科技資深技術經理、現任Tomofun技術長的張佳彥(Charles)，分享他如何帶領RD團隊找到工作定位及方向感，串起從技術研發到市場需求DevOps生命週期的實務經驗。
問：在推動DevOps的路上，最重要的心得是什麼？
答：常聽人說DevOps很重要，但其實最重要的不是DevOps本身，而是你的產品服務有沒有解決到使用者的問題，如此才能真的產生獲利。
為什麼矽谷新創可以快速Scale up，但許多本土新創還做不起來？我想，不一定是技術含量的問題，而是團隊在開發時盲目的嘗試，缺乏市場導向的目的及方向感。對使用者需求的掌握度不足，以致於不曉得該如何有效優化product（產品）的問題。
在台灣，一般會認為DevOps是RD部門的事。但光靠RD也只能做半套，因為技術端再怎麼優化，如果無法了解使用者問題並針對其迭代優化，最後也只是浪費資源和時間。要讓工程師培養商業現實感，思考產品開發出來使用者會怎麼使用、怎麼產生商業價值，其實並不容易。
能在RD內部把DevOps做起來，其實就已經不容易了，但廣義的DevOps其實牽涉到整體商業營運，包含RD、PM、行銷等整個團隊的支持，不只停留在技術層次，而是一間公司的組織文化和願景。
PM端做完焦點客戶(foucs group)的interview、survey或Prototype的build-measure-learn後，就 需要RD在做正式的開發，在production上做build-measure-learn，用所有客戶的資料來驗證最後的結果。
如果production結果未達標，會需要針對做得好和做不好的客戶群重新跑一次焦點客戶的精實開發迴圈，來得到如何優化的線索。最終的目的就是希望能夠在production環境上得到顧客價值的提升。
但是有可能會遇到問題是所謂的穀倉效應(silo)，也就是PM只負責焦點客戶的部分，而RD只負責產品開發的部分，最後卻沒有人確認是不是在production上的結果如同預期，當然也就沒有下一階段的優化。最後大家都覺得完成了工作，但是其實並沒有得到預期的結果。
所以很需要由負責的PM把整個DevOps的循環串起來，同時，RD、行銷團隊取得以終為始得共識，密切合作，才能更順利的做到end to end，最終提升顧客價值。
問：能聊聊你在Tomofun帶領的RD團隊，是怎麼運作的嗎？
答：Tomofun主要的產品是居家狗狗的AI攝影機Furbo，還有寵物智能管家「狗保姆」的訂閱服務，RD部門的正職加兼職目前大約50位，大概可分成前端、後端的軟體程式開發、韌體開發、AI模型訓練還有數據分析。
我在這邊主要推動兩件事：RD團隊的DevOps，和AI團隊的MLOps。新創團隊的工程師相對年輕，大家對於使用新技術快速開發新產品相當有熱忱，但是當公司規模愈來愈大，我們也要改善開發流程，不僅要維持開發速度，也要兼顧穩定度和擴展性。
為了能漸進優化流程，RD團隊底下分成兩個小隊，一個是訂閱小組，另一個優化小組。訂閱小組做的是客戶訂閱服務相關的HDD(Hypothesis Driven Development)實驗，重視的是快狠準。優化小組則是偏向產品專案以及DevOps流程優化，主要是增強RD內部的開發能力或速度，討論及建立基礎架構。
到這邊大家可能會好奇，這樣的團隊架構，績效該怎麼訂？
目前我們是以OKR來判斷，成員有沒有校準團隊共同目標，能不能達成挑戰的目標。但是OKR的特色就是不能只用達成率來看績效，我們同時還會參考其他表現是不是符合公司的文化，例如專業、態度、客戶導向等。
問：要怎麼善用數據，確保產品服務有滿足市場需求？
答：從DevOps的角度來看，最痛苦的地方是當沒有資料基礎架構(data infrastructure)，光是要建立數據流(data pipeline)，可能就要花上一整年。
如果沒有數據，大家就只能憑直覺或經驗來下決定，在排優先順序時，也很需要依靠數據，來判斷什麼事情要先做，所以還是需要投資資源在資料基礎架構以及數據收集上，最終才有機會客觀且有效的運用資源解決客戶問題。
Tomofun現在的數據分成兩種，一種是訓練AI服務的數據，用來提升AI的能力。另一種則是SaaS的數據，也就是透過APP或機器上的感知器收集使用者行為，用來監測我們的服務以及偵測使用者是否遇到問題。
而我們會利用HDD(Hypothesis Driven Development)的結果來驗證產品或服務是否有解決客戶問題以及滿足市場需求。我們在驗證結果的時候會用兩種數據指標，分為商業指標(business index)和產品指標(product index)。如果產品指標表現佳，不一定代表商業指標就會好；但如果連產品指標表現都不好，那商業指標一定不可能會好。
看了那麼多數據，最終還是會回到一個核心準則：
產品服務有沒有價值？有沒有解決客戶的問題？
能不能從這些數據，了解客戶的喜好或使用習慣？產品使用上有沒有遇到哪些困難？這些問題都可以從數據上者到答案或線索。必須真正落實以使用者需求為準改善產品，最終才會反應到商業獲利上。
然而資源有限，我們不可能滿足所有人的所有需求，所以做好市場區隔(segmentation)的功課非常重要。
許多新創會急著要擴張規模做到scale up，但如果今天你的目標客戶(target customer)定位錯誤，硬是想要吃下那塊不適合你的市場大餅，是一件很不實際的事。
做市場區隔很花時間，也很需要對使用者需求的高度掌握，但不做的話，就永遠無法了解你的目標客戶到底面對什麼問題，需要哪種解方。
不貪心，才能夠真正對症下藥，專注的解決問題。
問：萬一客戶反映的結果不如預期，要怎麼從數據中找出解方？
答：要知道一個產品的效果好不好，建立數據回饋機制非常重要。
最好的狀況是PM本身就有資料分析的能力，但是有時候因為專業不足或分工太細的關係，有可能PM會需要搭配資料分析師來理解資料。而建立數據回饋機制時，最重要也是第一點就是是：把要驗證的命題寫得一清二楚。明確的知道自己的假設是什麼，怎麼衡量專案是否達到標準，要用哪些條件來判斷這件事有被驗證成功。
第一次寫命題的時候，會發現其實真的很難寫（笑）。但這也同時反映出一個事實，就是其實連你自己都還沒有想清楚問題。
事前所有需要的資料都應該全部想好並且可以開始收集，才能開始執行。到了執行階段，基本上數據報表就已經成形了，確認報表都順利運作後，從上線的第一天起就要能夠開始看數據表現。
如果數據一開始表現不如預期，有可能是因為前期的樣本太少，需要等待更多使用者更新。我們也可以用統計的工具算出需要多少資料才能正確的驗證假設。
如果根據使用者調查，我們得知了有80%的使用者需要某項功能。所以我們可以假設，在production階段時，要看到至少有70%（80%-10%）的使用者有使用這項功能，對此項功能感到滿意，才代表你開發出來的東西真的有對症下藥。
如果沒有看到這樣的結果，那問題可能是出在一開始假設有誤、數據收集處理有問題、對於接收到的資訊定義有問題或是產品功能面出了問題。如果不是技術問題，我們通常會使用data/user segamentation來找出表現比較好和比較差的族群進行了解，通常有機會發現可能的原因。
這種data/user segamentation沒有一定的準則，但是作了三、五次後，就會開始培養出看數據的直覺。另外，整個數據流的回饋機制，和產報表的時間不能太長。快速迭代，持續優化是DevOps的實踐重點。
針對AI的部分，有些團隊側重模型訓練，但缺乏MLOps的背景，所以不會去思考產品服務上線後該如何優化（自動化），但這個問題不妨這樣解：問問同仁，可否每個禮拜提供模型表現的數據報表給主管？假如可以做到保證每周固定時間，一定可以產出這份報表，基本上就能順利解決掉80%的MLOps問題。
問：站在技術長的角度，你覺得新創團隊要運作得好，必備要素是什麼？
答：藍圖和人才，這兩點真的很重要。
願景是新創團隊努力的方向，方向感很重要，但仍然需要搭配藍圖才能達到效果。創業家有打開國際市場，不想要只做台灣生意的眼界，大家有很好的願景，也找到對的問題來產生價值。但是要有實踐的藍圖，RD團隊才能落實到每天的工作中。
除了有好的藍圖，重要的是還要有好的人才。
初期團隊人不夠，每位成員一定會面臨到多工的問題。但是當事業規模成長到一定程度，要開始scale up時，就要開始著手整理團隊架構及分工。當R&R(role and responsibility)不清楚時，大家手伸得很廣，會覺得在某件事上自己只是協助的角色，所以就沒有把事情做到位，但沒做到位，這件事就沒有辦法產生價值。
第一件事情，就事需要區分出任務的重要程度，把最重要的事情分配給最適合的人才。而我在做的事情，就是把從數據、開發到production之間的斷點串接起來，讓DevOps的生命週期能夠產生商業價值。途中可能會發現缺乏一些教育訓練、專業知識或人才，再逐步地把這些東西加到團隊裡面，這些事情其實急不得。
所以我現在和團隊開會都會先談願景，接著把藍圖攤出來，和團隊說明大家應該要怎麼做這件事情，接下來就讓大家自由發揮。如果遇到實務上有爭議的時候，就會再把願景和藍圖拉出來，和團隊確認彼此有沒有校準共同目標。
接下來就要一直反覆的講，為什麼我們要做這件事情，有什麼效果。讓大家開始覺得真的應該要這樣做，整個團隊才會真的慢慢往那個方向去移動，最後才能實踐與建立起Data / DevOps / MLOps的文化。
🐶 如果你對MLOps運作流程，以及後續如何在數據、模型間調校有興趣，千萬別錯過2021/5/10開跑的「Tomofun 狗音辨識 AI 百萬挑戰賽」。
🐾 延伸閱讀：
Tomofun怎麼辦到的？AI結合狗狗攝影機，打造最窩心的智能寵物保姆Furbo！
專訪台灣智駕Turing Drive技術長：了解情境需求並掌握「對的數據」，AI技術才能落地商轉
專訪Beseye執行長：AI落地專案的成功與挑戰，來自於人們經常忽略的「小數據」
