:::

【109年 應用案例】 自動篩果系統:利用類神經網路、AI、自動化提高篩果效率,提昇 10 倍效率、增加 17 億產值、93%準確率大幅增加品質的解決方案

臺灣地處亞熱帶,又有多樣化的地理環境,相當適合種植水果;舉凡香蕉、鳳梨都曾是紅極一時,讓我們引以為傲的熱門出口商品。然而,因為消費國農民逐漸掌握到了臺灣水果優良的種子,可以自行種出同等品質但是更加平價的相同水果,致使我們的水果出口面臨重大危機!目前,臺灣的水果如芒果、芭樂雖然仍有一定競爭優勢,但若是未能比其他國家更進一步,假以時日仍然會落入同樣的問題當中,不容我們輕忽!水果品質與品牌價值是臺灣水果產業於國際間保持競爭力的不二法門。

篩果工作是水果產銷當中決定品質的主要環節,目前業界卻囿於高度倚賴逐漸老化的農村人力,致使缺工下篩果成本上揚,良率也極難一以貫之保持穩定;因此,篩果工作的自動化,就成為相當重要且急迫的課題。國立清華大學電機工程學系李祈均教授帶領團隊透過攝影機、輸送帶、以及 AI 結合出的自動篩果系統,目前具有高達 93% 的準確度。一個產季就能為芒果單一商品提昇 17 億的產值。隨著 AI 系統的逐步發展,未來準確度可望提昇外,也可以將同樣的系統應用在其他水果之上,進一步推動水果全程產銷履歷,帶動臺灣水果產業科技化升級。

篩果工作非常仰賴稀缺的人力,農村人口老化更是雪上加霜

李祈均教授(後稱李教授)在一次聊天中,從曾一起在美國讀書的同學余(化名)處認識到水果產業面臨的困境。余是一家臺灣數一數二的大型水果國際進出口廠商的年輕第二代。根據余投身產業多年的觀察,臺灣水果初期生產出口往往可以得到相當不錯的利潤,但消費國的果農往往在取得種子之後,就會嘗試摸索在地育種,以降低成本獲取更大利潤。臺灣水果若是在品質或品牌價值上無法超出消費國果農的產品,就會因為競爭者的成本確實較低,而被淘汰。

篩果是將水果按照品質分級,如果連最低規格皆無法通過,則會打消為廢品。實務上,篩果這個工作會由農民集貨場以及經銷商的包裝場分別執行,但如果集貨場處理得不好,而包裝場又在前期抽樣沒做好,就會造成經銷商的損失,最多甚至白白打消 30% 的 A / A+ 等級的水果。

這個工作極度仰賴有經驗的篩果人員,比較有經驗的篩果人員,不只可以控制好品質,降低篩果過程中傷損水果的機率,甚至有能力額外揀出約莫 10% 的 A+ 等級水果,大大增加許多價值。令產業憂心的是,有經驗的篩果人員因為農村高齡化而逐漸凋零,成為非常稀有的資源。這樣稀有的人力資源每每在農忙時期炙手可熱,大家爭相搶奪,搶不到的農家或是經銷商,只能遷就於比較次級的人力,蒙受承擔額外損失的風險,付出更大的成本;最不幸的狀況,便是遭受前述 30% 的打消損失。

篩果是水果生產後期包裝銷售時的重要流程,若是品質控管沒做好,將會造成巨大損失

▲篩果是水果生產後期包裝銷售時的重要流程,若是品質控管沒做好,將會造成巨大損失。

AI非常適合協助篩果工作,只不過數據集的取得困難

李教授在了解余的困難之後,發現這是一個可以利用 AI 來解決的問題—篩果雖然高度仰賴具有經驗的篩果人員,卻是一個重複性很高的工作;而處理重複、資料量大的工作一直都是 AI 的強項。

不過,在研發工作還沒有開始,就面臨第一個令人頭痛的問題:要從哪一種水果開始?

首先,合適的水果需要有一定的出口量,而且必須是仍具有相當成長空間的果物;如果是部分較缺乏國際競爭力者如香蕉、鳳梨等,廠商已經沒有餘力投下更多資金購買設備,更遑論在研發時期贊助經費或是協助研發團隊實驗了。

既然有了想法,當然就要加緊腳步盡快開始實行!於是,目前仍保有一定規模優勢的愛文芒果,雀屏中選成為自動篩果系統的第一個實驗對象。

芒果採收後的第一關,就是在集貨場進行第一次的篩果,待篩果完成之後,即送至包裝場進行熏蒸消毒、準備銷售或是裝櫃外銷。然而,對於目標市場有較深入了解的外銷廠商,對於品質會更加嚴格要求,往往在包裝場熏蒸之前,還會再行篩果一次以把握水果品質。由於集貨場的員工是以篩檢的芒果數量而非芒果品質計算工資,以量取勝往往是他們工作的傾向;如此一來,後一手包裝廠為了選果品質,便不得不重工篩果而徒增勞務。解決方案看來簡單明瞭—只需要透過攝影機、分級分流的機器輸送帶,以及搭配上可以從外觀分辨芒果品質的 AI 就能夠自動篩果。但是,難點就在於 AI 要如何分辨芒果的好壞呢?對,就是必須從建立一套訓練數據集開始!為了建立數據集,李教授團隊建立網站,讓所有人都可以上傳芒果照片並且為它們分級;在完善數據集後,就能利用它們來訓練 AI。

若是集貨場的篩果工作沒有做好,包裝場又會再打消或降級最多 30% 的水果造成損失。

▲李教授團隊研發出的篩果機透過AI圖像辨識篩選品相上佳的芒果。

經過訓練的 AI 準確度高達 93%,一個產季就可以提高 17 億產值

108 年,透過工業局(現經濟部產業發展署)與 AI HUB 的協助,成功加速技術進場實證。

李教授團隊在 2 個月實證期間累積 10 萬筆數據,經過訓練的 AI 準確度高達 93% !比起正確率 70% 的人工作業高出許多,在品質上有了很明顯的差異。以出口價值計算,一個芒果產季預估可望提高 17 億的產值!更可以節省人力成本達 186.6 萬,並免於前文所提的季節缺工問題。

除此之外,因為不再需要集貨場和包裝場各篩果一次,也減少篩果過程當中人為疏失所造成的損耗。待技術更臻成熟後,未來也能將同樣的系統應用在其他的臺灣出口水果如蓮霧、芭樂上,讓臺灣的水果產業更上一層樓。

既然是 AI,就能經由不斷訓練來提高準確度,透過演算法的持續調整,以及與設備廠商的合作,可以大幅提昇產能。另外,李教授也在廠商及政府的贊助之下舉辦 AI Cup 競賽,讓更多團隊使用同樣的數據集來繼以推動演算法的發展,期待能帶動更多有興趣投入的業者進一步合作。

AI HUB 上的愛文芒果等級辨識系統

李教授團隊期許透過 AI 的力量,能夠建立水果從生產到包裝運輸的完整履歷,藉以提昇臺灣水果的品牌價值!除了期望讓臺灣水果在國外競爭激烈的市場搶占一席之地,也能隨著質量兼備的供貨,讓臺灣水果在國際上大放異彩,成為臺灣之光。

台灣水果在國際市場上仍有一定競爭優勢,但隨著外銷出口,也面臨消費國果農的競爭壓力。

▲臺灣水果在國際市場上仍有一定競爭優勢,但隨著外銷出口,也面臨消費國果農的競爭壓力。

每年芒果季輕鬆省下 186.6 萬,而且大幅提高品質

▲每年芒果季輕鬆省下 186.6 萬,而且大幅提高品質。

 

推薦案例

【導入案例】赫銳特科技VCSEL封裝元件瑕疵導入AOI檢測 提升產能效率20
赫銳特科技VCSEL封裝元件瑕疵導入AOI檢測 提升產能效率20%

2017年,iPhone X的亮相讓提供 Face ID人臉解鎖的3D感測技術成為大熱門,也帶動了3D感測模組中的核心零元件VCSEL的發展。而VCSEL封裝元件入料瑕疵檢測,若透過AI推論模型可解決良率偏低產業難題,提升可靠度達95。 VCSEL技術現階段可被運用於諸多用途和各類終端消費市場,包括機器人、移動設備、監控、無人機,以及ARVR等。VCSEL在需求高速調製功能的應用(例如照相機和生物計量)中堪稱為不錯的解決方案。 VCSEL技術應用層面廣,也可應用於無人機。圖為佐翼科技農用無人機 VCSEL技術應用層面廣 AI技術助攻瑕疵檢測 赫銳特科技表示,VCSEL封裝元件市場也面臨到商業對手強力的削價競爭,需要進一步降低成本提升、產品競爭力,其中一個關鍵的難題就是將玻璃透鏡更換為環氧樹脂型透鏡。傳統玻璃透鏡的生產良率高,但成本較環氧樹脂透鏡高,因環氧樹脂經切割製程,側壁切割道上容易會有毛邊,造成尺寸過大,容易在打件時因為受熱而產生的應力釋放,將會直接導致光學透鏡破裂。 赫銳特科技指出,VCSEL環氧樹脂透鏡的入料檢測十分重要,在封裝空間的限制下,封裝與光學透鏡貼合的空間有限,且此光學透鏡會被侷限於一金屬框架內,若是沒有控管好尺寸公差,很容易在打件時因為受熱而產生的應力釋放會直接導致光學透鏡破裂,造成VCSEL封裝可靠度驗證良率損失最高達到10,造成生產成本增加。 為解決上述問題,赫銳特科技希望在VCSEL環氧樹脂透鏡的入料階段,可以藉由AI影像監控環氧樹脂元件的尺寸及外觀瑕疵,確認其尺寸是否合乎規格、切割邊緣是否平整、外觀是否瑕疵等。由於傳統的入料檢測,經通過大略的人眼目檢分辨好壞,為順利收集影像數據,首先需要解決影像蒐集的問題。 因此,赫銳特科技首先建立自動光學檢測裝置Automated Optical Inspection,AOI,自動光學檢測裝置包含X、Y、Z三軸動及高解析相機,及相關控制軟體自動記錄影像。蒐集完成後的影像資料,經opencv將測試影像Test與一標準正常影像Normal,進行影像對位後取出Test與Normal影像的差異部分,並可經由Pixel Mapping計算影像的像素面積進行比較完成初步篩檢。 承上之影像分類,進行手動標籤標示包含:正常、外觀瑕疵或形狀特徵差異之樣品,後進行演算法訓練與驗證,使用深度殘差網絡Residual neural network ResNet或其他相關演算法進行深度學習,以辨識出透鏡的優劣情形。 導入AOI檢測 提升產能效率達20以上 比較導入AI影像檢測的前後差異,導入前的VCSEL入料透鏡檢測,僅透過簡易的人工外觀檢測,將透鏡封裝在已固晶的VCSEL封裝體上,通過一般點亮檢測後,最後進行可靠度測試高溫回焊,失效樣品進再入重工流程。 但在導入AOI檢測之後,可提前將有問題的透鏡篩選出來,除了可以降低後續物料投入的成本,亦可減少失效情形降低重工的需要,因而提升可靠度驗證良率達95以上,預期可協助場域業者降低生產成本達10,提高產能效率達20以上。 導入AI影像檢測的前後之差異 赫銳特科技指出,這項技術是基於微小影像開發的AI應用技術,透過深度學習演算法辨識影像瑕疵,用來辨識瑕疵影像。而訓練後的網路來自動分類對應於預定類別的影像數據。透過參考影像就能辨識缺陷類別,因此不再需要繁瑣的編程。 而在工業機器視覺環境中,深度學習主要用於應用中的分類任務,例如在工業產品的檢驗或零件的辨識,未來隨著IOT穿戴裝置的發展,符合節能省電的潮流議題,光電元件尺寸將不斷的縮小,本技術未來也可應用在其他微小光電元件的外觀瑕疵檢測。

這是一張圖片。 This is a picture.
CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。 需求痛點 日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。 1 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGV(Automated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。 2 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。 3 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。 4 卸貨碼頭區:日月光L但碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。 異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像 日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。 問題情境 物件偵測 物件偵測資料來源分成兩個部份 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。 九大物件 顏色辨識 顏色辨識資料來源分成兩個部份網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。 動態忽略免除混淆訓練 從OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。 動態忽略 AI幫你看 CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。

【解決方案】優式AI智能割草機器人 搶攻高爾夫藍海市場
優式AI智能割草機器人 搶攻高爾夫藍海市場

一台看似掃地機器人的AI智能割草機器人,在面積達30公頃的高爾夫球場草坪上來回穿梭進行除草工作。這是由國人自主研發與設計的AI智能割草機器人,此種機型搭載全球首創電子圍籬定位技術,可利用高精準定位的GPS功能結合雲端AI計算最割草路徑,已計畫搶攻高爾夫球藍海市場。 這款AI智能割草機器人由成立於2019年的台灣新創公司優式機器人進行研發,優式機器人總經理陳招成曾擔任台灣前5大ODM科技公司的執行副總經理,擅長軟硬整合工作。在他擔任服務型機器人聯盟總召集人時,就深知在少子化、人力漸趨吃緊的情況下,服務型機器人勢必成為高度成長的產業。 新需求》園藝市場規模大 剛性需求殷切 「發展服務型機器人核心技術,一定要找到剛性需求,綜觀歐美國家,人工短缺,然園藝需求增加,園藝工長年短缺7-10」,在此「剛性需求」強烈的情況下,陳招成成立優式機器人公司,第一個產品就是研發AI智能割草機器人。 以國外來說,美國是全球最大的園藝市場,佔全球產值高達30-40,估計約有100萬名園藝工,然近年來皆處於7-10的缺工狀態,遲遲無法改善。主要缺工原因為:人口老化,加上園藝工作靠勞力工作吃重,年輕人不想做。而不像在台灣,歐美國家對於草坪維護十分重視,並明文規定不除草,將觸犯法規予以重罰,因此,AI智能割草機器人的市場發展潛力相當大。 藉由AI多裝置智慧協作割草感測技術的導入,期望減少場務人員整理球場之負擔 優式機器人所開發的AI智能割草機器人已研發至第二代,包括國內大學院校及知名美術館使用最新機型M1,同時也在美國包括一些全球知名的高科技公司,及知名的大學院校等實際場域中運行,正進行後續商務合作的洽談中。 優式機器人表示,目前使用的專業RTK系統,可以將原本GPS定位的誤差從數十公尺縮小到2公分左右,讓機器人在戶外也可以精準的移動。簡單設定邊界後,便能透過APP輕鬆地進行作業。 新應用》導入高爾夫球場 解決人力老化及短缺問題 陳招成進一步說明,國土測繪局是RTK的服務商,RTK將定位點的誤差參考圖提供出來,優式機器人透過4G上網,即可抓取特定位置的定位誤差值。再透過優式機器人的AI演算法,將原本一般GPS 10-20公尺誤差值縮短到2公分。定位好之後,優式機器人再運用六軸加速器定位、陀螺儀、輪子的輪差等感測裝置導入,進行軟硬整合工程,搭配輪子的運動模式和地形的契合,才能達到精準的除草路徑規劃。 這款寬度62公分、長度84公分、高度 46公分,重量只有25公斤的智能割草機器人可以在雲端將割草邊界設定完成,可以透過設定避掉水池與沙坑,用AI演算法自動計算出最佳路徑,一小時可除草面積大約是150坪,電池可以連續使用6小時以上,電池續航力是目前全球最高。 除了一般園藝公司外,在經濟部工業局AI計畫團隊的協助下,將優式機器人的AI智能割草機器人導入高爾夫球場的割草應用。 位於台中市太平區的知名高爾夫球場現有場務人員5人,負責整個球場30公頃的草坪、植栽維護、及其他景觀維護工作。但因場務人員平均年齡高達55歲,且長期無法招募到新的場務人員,針對場務人員的老年化及人力的短缺,希望能尋求AI科技的導入來減緩衝擊,因此藉由AI多裝置智慧協作割草感測技術的導入,期望減少場務人員整理球場之負擔。 新挑戰》因應草種不同 需藉由專家系統克服困難 「這款AI智能割草機器人具備低噪音、低汙染、低人力成本及防水、防盜等配置,在割草的過程中,能透過超音波感測器辨識避開障礙物,並同時保持除草品質,維持美觀一致的割草長度」,陳招成接著表示,高爾夫球最重要的是草紋要漂亮、不能有病蟲害。 根據場勘後發現,高爾夫球場地主要分為果嶺、球道及長草區三大區塊,長草區以現行機器人除草沒有問題,20度以內的斜坡道都能夠克服;球道區的短草只能維持兩公分,草種也不同,需要修改刀盤設計;至於果嶺區的草因為影響到推桿速度,不僅要除草,還要壓草至與地面貼合,草的方向要一致,諸多因素均會影響到果嶺指數,這部分需要更多的研究與測試。 AI智能割草機器人能透過超音波感測器辨識避開障礙物,並同時保持除草品質 AI智慧割草機器人內建攝影鏡頭,可以用來偵測草坪的健康狀態,陳招成表示,未來也將導入專家系統,及早判斷草坪是否有病蟲害或水分足夠與否,將草坪健康數據分析提供給客戶參考,可及早防範與因應,以減少災害損失。 本身也是高爾夫球好手的陳招成表示,台灣高爾夫球發展得很好,然而,受到氣候多雨潮濕、有颱風等天候因素影響,與國外一流球場比較,台灣的高爾夫球場土質偏硬,坑洞較多,若智能割草機器人要普遍導入高爾夫球場仍有許多困難必須克服。但因台灣的困難地形造就很好的試煉場所,一旦台灣能夠克服諸多問題順利導入,就能擴展到海外市場,搶攻新的藍海市場商機。 優式機器人總經理陳招成