:::

【109年 應用案例】 自動篩果系統:利用類神經網路、AI、自動化提高篩果效率,提昇 10 倍效率、增加 17 億產值、93%準確率大幅增加品質的解決方案

臺灣地處亞熱帶,又有多樣化的地理環境,相當適合種植水果;舉凡香蕉、鳳梨都曾是紅極一時,讓我們引以為傲的熱門出口商品。然而,因為消費國農民逐漸掌握到了臺灣水果優良的種子,可以自行種出同等品質但是更加平價的相同水果,致使我們的水果出口面臨重大危機!目前,臺灣的水果如芒果、芭樂雖然仍有一定競爭優勢,但若是未能比其他國家更進一步,假以時日仍然會落入同樣的問題當中,不容我們輕忽!水果品質與品牌價值是臺灣水果產業於國際間保持競爭力的不二法門。

篩果工作是水果產銷當中決定品質的主要環節,目前業界卻囿於高度倚賴逐漸老化的農村人力,致使缺工下篩果成本上揚,良率也極難一以貫之保持穩定;因此,篩果工作的自動化,就成為相當重要且急迫的課題。國立清華大學電機工程學系李祈均教授帶領團隊透過攝影機、輸送帶、以及 AI 結合出的自動篩果系統,目前具有高達 93% 的準確度。一個產季就能為芒果單一商品提昇 17 億的產值。隨著 AI 系統的逐步發展,未來準確度可望提昇外,也可以將同樣的系統應用在其他水果之上,進一步推動水果全程產銷履歷,帶動臺灣水果產業科技化升級。

篩果工作非常仰賴稀缺的人力,農村人口老化更是雪上加霜

李祈均教授(後稱李教授)在一次聊天中,從曾一起在美國讀書的同學余(化名)處認識到水果產業面臨的困境。余是一家臺灣數一數二的大型水果國際進出口廠商的年輕第二代。根據余投身產業多年的觀察,臺灣水果初期生產出口往往可以得到相當不錯的利潤,但消費國的果農往往在取得種子之後,就會嘗試摸索在地育種,以降低成本獲取更大利潤。臺灣水果若是在品質或品牌價值上無法超出消費國果農的產品,就會因為競爭者的成本確實較低,而被淘汰。

篩果是將水果按照品質分級,如果連最低規格皆無法通過,則會打消為廢品。實務上,篩果這個工作會由農民集貨場以及經銷商的包裝場分別執行,但如果集貨場處理得不好,而包裝場又在前期抽樣沒做好,就會造成經銷商的損失,最多甚至白白打消 30% 的 A / A+ 等級的水果。

這個工作極度仰賴有經驗的篩果人員,比較有經驗的篩果人員,不只可以控制好品質,降低篩果過程中傷損水果的機率,甚至有能力額外揀出約莫 10% 的 A+ 等級水果,大大增加許多價值。令產業憂心的是,有經驗的篩果人員因為農村高齡化而逐漸凋零,成為非常稀有的資源。這樣稀有的人力資源每每在農忙時期炙手可熱,大家爭相搶奪,搶不到的農家或是經銷商,只能遷就於比較次級的人力,蒙受承擔額外損失的風險,付出更大的成本;最不幸的狀況,便是遭受前述 30% 的打消損失。

篩果是水果生產後期包裝銷售時的重要流程,若是品質控管沒做好,將會造成巨大損失

▲篩果是水果生產後期包裝銷售時的重要流程,若是品質控管沒做好,將會造成巨大損失。

AI非常適合協助篩果工作,只不過數據集的取得困難

李教授在了解余的困難之後,發現這是一個可以利用 AI 來解決的問題—篩果雖然高度仰賴具有經驗的篩果人員,卻是一個重複性很高的工作;而處理重複、資料量大的工作一直都是 AI 的強項。

不過,在研發工作還沒有開始,就面臨第一個令人頭痛的問題:要從哪一種水果開始?

首先,合適的水果需要有一定的出口量,而且必須是仍具有相當成長空間的果物;如果是部分較缺乏國際競爭力者如香蕉、鳳梨等,廠商已經沒有餘力投下更多資金購買設備,更遑論在研發時期贊助經費或是協助研發團隊實驗了。

既然有了想法,當然就要加緊腳步盡快開始實行!於是,目前仍保有一定規模優勢的愛文芒果,雀屏中選成為自動篩果系統的第一個實驗對象。

芒果採收後的第一關,就是在集貨場進行第一次的篩果,待篩果完成之後,即送至包裝場進行熏蒸消毒、準備銷售或是裝櫃外銷。然而,對於目標市場有較深入了解的外銷廠商,對於品質會更加嚴格要求,往往在包裝場熏蒸之前,還會再行篩果一次以把握水果品質。由於集貨場的員工是以篩檢的芒果數量而非芒果品質計算工資,以量取勝往往是他們工作的傾向;如此一來,後一手包裝廠為了選果品質,便不得不重工篩果而徒增勞務。解決方案看來簡單明瞭—只需要透過攝影機、分級分流的機器輸送帶,以及搭配上可以從外觀分辨芒果品質的 AI 就能夠自動篩果。但是,難點就在於 AI 要如何分辨芒果的好壞呢?對,就是必須從建立一套訓練數據集開始!為了建立數據集,李教授團隊建立網站,讓所有人都可以上傳芒果照片並且為它們分級;在完善數據集後,就能利用它們來訓練 AI。

若是集貨場的篩果工作沒有做好,包裝場又會再打消或降級最多 30% 的水果造成損失。

▲李教授團隊研發出的篩果機透過AI圖像辨識篩選品相上佳的芒果。

經過訓練的 AI 準確度高達 93%,一個產季就可以提高 17 億產值

108 年,透過工業局(現經濟部產業發展署)與 AI HUB 的協助,成功加速技術進場實證。

李教授團隊在 2 個月實證期間累積 10 萬筆數據,經過訓練的 AI 準確度高達 93% !比起正確率 70% 的人工作業高出許多,在品質上有了很明顯的差異。以出口價值計算,一個芒果產季預估可望提高 17 億的產值!更可以節省人力成本達 186.6 萬,並免於前文所提的季節缺工問題。

除此之外,因為不再需要集貨場和包裝場各篩果一次,也減少篩果過程當中人為疏失所造成的損耗。待技術更臻成熟後,未來也能將同樣的系統應用在其他的臺灣出口水果如蓮霧、芭樂上,讓臺灣的水果產業更上一層樓。

既然是 AI,就能經由不斷訓練來提高準確度,透過演算法的持續調整,以及與設備廠商的合作,可以大幅提昇產能。另外,李教授也在廠商及政府的贊助之下舉辦 AI Cup 競賽,讓更多團隊使用同樣的數據集來繼以推動演算法的發展,期待能帶動更多有興趣投入的業者進一步合作。

AI HUB 上的愛文芒果等級辨識系統

李教授團隊期許透過 AI 的力量,能夠建立水果從生產到包裝運輸的完整履歷,藉以提昇臺灣水果的品牌價值!除了期望讓臺灣水果在國外競爭激烈的市場搶占一席之地,也能隨著質量兼備的供貨,讓臺灣水果在國際上大放異彩,成為臺灣之光。

台灣水果在國際市場上仍有一定競爭優勢,但隨著外銷出口,也面臨消費國果農的競爭壓力。

▲臺灣水果在國際市場上仍有一定競爭優勢,但隨著外銷出口,也面臨消費國果農的競爭壓力。

每年芒果季輕鬆省下 186.6 萬,而且大幅提高品質

▲每年芒果季輕鬆省下 186.6 萬,而且大幅提高品質。

 

推薦案例

【導入案例】化身大型AIOT科技遊樂場 海科館華麗轉身好吸睛
化身大型AIOT科技遊樂場 海科館華麗轉身好吸睛

臺灣是一個海洋國家,你去基隆八斗子漁港或潮境公園遊玩時,是否順道去占地48公頃的國立海洋科技博物館探索海洋世界的奧秘呢為了讓更多人親近海洋科技,基隆海科館導入科技服務,將場館化身為一個大型科技遊樂場,讓大小朋友都樂不思蜀,充分發揮「寓教於樂」的功能。 歷經長時間的規劃,北臺灣最大的基隆海洋科技博物館於2014年元月開幕營運,館內以海洋教育科技為主題,號稱擁有全臺最大的IMAX 3D海洋劇場,主題具有獨特性、又擁有新穎的視廳設備,理應成為基隆知名的地標景點。然而,原先的展覽規畫以靜態為主,內容相當專業,與民眾互動不足,曾經前往參觀的遊客也反映展出內容有限且十分無趣,整體消費者體驗評價欠佳。 海科館不滿意的前3項為周邊景點連結弱、展示內容不吸引人、展示內容少 根據海科館的統計數據顯示,海科館遊客結構當地民眾與外來客的比重約為 64,其中外地遊客以北部居多;交通方式以開車與客運方式為主;出遊類型以家族、親子、朋友居多;逗留時間為 1至2 小時。 再深入了解,遊客感到不滿意的前3項分別為周邊景點連結弱、展示內容不吸引人、展示內容少等,館方分析可能的原因包括部分展示內容的呈現方式過於專業,讓民眾看不懂,以及缺發互動體驗的元素,讓參展民眾覺得無趣,停留的時間匆促而短暫。分析遊客的輪廓可以發現,由於基隆科博館主要客源有半數以上來自於當地民眾,外來客必須以開車或大眾運輸方式前來,來一趟並不是那麼容易,因此,場館與展覽的設計必須導入更多的互動性及趣味性,讓本地客願意一來再來,外地客的停留時間也能拉長一點。並透過科技服務將博物館特色凸顯出來。 經由經濟部工業局AI團隊之一中華民國資訊軟體協會引薦,海科館就委託巨鷗科技協助解決場館無法吸引人的問題。 巨鷗科技初步訪談之後發現,許多遊客前往海科館,大多是受到海科館建築外型、周邊牆面所張貼的告示及懸掛的旗幟、或正在舉辦的活動所吸引;而遊客最感興趣的為 3D 海洋劇場,顯示內容以影音、實體景方式呈現較能吸引遊客。 七大AI科技導入 海科館帶動區域觀光人潮 巨鷗科技透過科技服務的導入,將占地48公頃的場域設計成AI語音導覽、尋寶解謎遊戲、AI展物互動活化、AI空間展館互動體驗、AI人流管控、Face AI互動式體驗、AI語音客服系統等7大服務,藉由AIoT物聯網以及雲端科技讓看展變有趣、不僅解決孩童靜態看展無趣的議題,並可提升雙倍學習效率,讓消費者對海科館的印象改觀,大大提升來客意願,也同步拉升區域觀光人潮。 國立海洋科技博物館導入AI語音導覽等七大科技應用服務。 巨鷗科技以改善海科館空間場域優化為目標,透過臺灣北部海濱鳥類特展的展覽背景為雛形,結合包括「人臉」、「肢體」、「人流」三大主軸,從提升功能的面向,來協助改善海科館對AI的應用。 在具體作法上,海科館及巨鷗科技首先針對場域內的特展進行篩選,先避免在已展出的展覽內進行水電工程、管路等相關建置,影響到展覽本身的觀看品質,轉而找出展期未到的場館先行導入,透過展覽本身的特點搭配一系列的科技服務進行導入。 在海科館內臺灣北部海濱鳥類特展施工內容與策展人討論,初步在展館入口處利用Bella X1做迎賓互動說明,接著搭配AI智慧導覽中文英文X1進行講解,搭配趣味性尋寶解謎集章活動-APP X1,讓民眾闖關,後續將鳥類特展內鳥種進行標本活化互動X1、甚至在展覽空間中導入AR之情境X1增添趣味性娛樂,最後在Face AI做人臉之互動測試臉部進行微笑打分數。nbsp 華麗變身後的海科館將成為親子最佳旅遊地點。圖海科館FB粉絲頁 海科館這套AIoT服務未來可延伸運用於各大展覽類博物館,甚至擴及到靜態美術館等地區,依據不同場域特點導入。同時也可透過政府專案及相關計畫推動,幫助農村再生,讓遊客不再只是去農村看看而已,添加趣味互動以擺脫對不同場域的刻板印象,應用服務範圍十分廣泛。

【導入案例】赫銳特科技VCSEL封裝元件瑕疵導入AOI檢測 提升產能效率20
赫銳特科技VCSEL封裝元件瑕疵導入AOI檢測 提升產能效率20%

2017年,iPhone X的亮相讓提供 Face ID人臉解鎖的3D感測技術成為大熱門,也帶動了3D感測模組中的核心零元件VCSEL的發展。而VCSEL封裝元件入料瑕疵檢測,若透過AI推論模型可解決良率偏低產業難題,提升可靠度達95。 VCSEL技術現階段可被運用於諸多用途和各類終端消費市場,包括機器人、移動設備、監控、無人機,以及ARVR等。VCSEL在需求高速調製功能的應用(例如照相機和生物計量)中堪稱為不錯的解決方案。 VCSEL技術應用層面廣,也可應用於無人機。圖為佐翼科技農用無人機 VCSEL技術應用層面廣 AI技術助攻瑕疵檢測 赫銳特科技表示,VCSEL封裝元件市場也面臨到商業對手強力的削價競爭,需要進一步降低成本提升、產品競爭力,其中一個關鍵的難題就是將玻璃透鏡更換為環氧樹脂型透鏡。傳統玻璃透鏡的生產良率高,但成本較環氧樹脂透鏡高,因環氧樹脂經切割製程,側壁切割道上容易會有毛邊,造成尺寸過大,容易在打件時因為受熱而產生的應力釋放,將會直接導致光學透鏡破裂。 赫銳特科技指出,VCSEL環氧樹脂透鏡的入料檢測十分重要,在封裝空間的限制下,封裝與光學透鏡貼合的空間有限,且此光學透鏡會被侷限於一金屬框架內,若是沒有控管好尺寸公差,很容易在打件時因為受熱而產生的應力釋放會直接導致光學透鏡破裂,造成VCSEL封裝可靠度驗證良率損失最高達到10,造成生產成本增加。 為解決上述問題,赫銳特科技希望在VCSEL環氧樹脂透鏡的入料階段,可以藉由AI影像監控環氧樹脂元件的尺寸及外觀瑕疵,確認其尺寸是否合乎規格、切割邊緣是否平整、外觀是否瑕疵等。由於傳統的入料檢測,經通過大略的人眼目檢分辨好壞,為順利收集影像數據,首先需要解決影像蒐集的問題。 因此,赫銳特科技首先建立自動光學檢測裝置Automated Optical Inspection,AOI,自動光學檢測裝置包含X、Y、Z三軸動及高解析相機,及相關控制軟體自動記錄影像。蒐集完成後的影像資料,經opencv將測試影像Test與一標準正常影像Normal,進行影像對位後取出Test與Normal影像的差異部分,並可經由Pixel Mapping計算影像的像素面積進行比較完成初步篩檢。 承上之影像分類,進行手動標籤標示包含:正常、外觀瑕疵或形狀特徵差異之樣品,後進行演算法訓練與驗證,使用深度殘差網絡Residual neural network ResNet或其他相關演算法進行深度學習,以辨識出透鏡的優劣情形。 導入AOI檢測 提升產能效率達20以上 比較導入AI影像檢測的前後差異,導入前的VCSEL入料透鏡檢測,僅透過簡易的人工外觀檢測,將透鏡封裝在已固晶的VCSEL封裝體上,通過一般點亮檢測後,最後進行可靠度測試高溫回焊,失效樣品進再入重工流程。 但在導入AOI檢測之後,可提前將有問題的透鏡篩選出來,除了可以降低後續物料投入的成本,亦可減少失效情形降低重工的需要,因而提升可靠度驗證良率達95以上,預期可協助場域業者降低生產成本達10,提高產能效率達20以上。 導入AI影像檢測的前後之差異 赫銳特科技指出,這項技術是基於微小影像開發的AI應用技術,透過深度學習演算法辨識影像瑕疵,用來辨識瑕疵影像。而訓練後的網路來自動分類對應於預定類別的影像數據。透過參考影像就能辨識缺陷類別,因此不再需要繁瑣的編程。 而在工業機器視覺環境中,深度學習主要用於應用中的分類任務,例如在工業產品的檢驗或零件的辨識,未來隨著IOT穿戴裝置的發展,符合節能省電的潮流議題,光電元件尺寸將不斷的縮小,本技術未來也可應用在其他微小光電元件的外觀瑕疵檢測。

【導入案例】維繫遊艇王國美譽 嘉信遊艇導入國內第一套FRP複材超音波智慧檢測
維繫遊艇王國美譽 嘉信遊艇導入國內第一套FRP複材超音波智慧檢測

位在高雄的嘉信遊艇,成立逾40年,是台灣最大客製化遊艇業者,客戶遍佈美、歐、亞、澳各洲,為臺灣贏得「亞洲遊艇王國」的美譽。為了解決目前FRP船體檢測仍仰賴傳統方法如人眼辨識、敲打辯聲,耗時費工問題,嘉信遊艇首度將PAUT 陣列式超音波檢測運用於船體FRP複材上,並結合AI判讀超音波影像,發展完整智慧化解決方案,創造檢測業新興市場。 嘉信遊艇前身是嘉信木業有限公司,剛成立時是間位於高雄市臨海工業園區專營木材進口的工廠,1977 年開始進行遊艇設計、製造與銷售。企業第二代接班人,即嘉信遊艇總經理龔俊豪進入公司後,打破過往仰賴老師傅功力為主的製造模式,引進數位化製作,加快造船速度,船也愈做愈大,多年排行世界24公尺以上大型遊艇前20大製造商。並創下在一年內交付94艘遊艇的紀錄,為臺灣贏得「亞洲遊艇王國」之美譽。 瑕疵檢測確保遊艇品質 以AI取代人力效益高 為確保遊艇品質,瑕疵檢測相當重要。目前遊艇業採取的瑕疵檢測方式仍十分傳統,通常以手積層或是真空灌注製程方式製造船殼結構,藉由人眼或是敲擊法依敲打聲音頻率來判別瑕疵,需要人工耗費時間檢查,如有瑕疵須重工修補,接續執行噴佈膠殼作業。為便於檢測,船體必須分段施工,以24公尺以上大型遊艇而言,分段施工非常耗時耗力。 為縮短遊艇製程之速度,嘉信遊艇會先將船殼進行膠殼流程,之後再執行手積層製程,船殼製程有兩種複合材料試片結構,以遊艇54呎船殼來看,船殼中內含膠殼、芯材、纖維、樹脂,總厚度約為32公分plusmn01cm,與未含有芯材的FRP船殼總厚度約16cmplusmn01cm相差一倍之多。製程中偶會有玻璃纖維含浸不完全,或是玻璃纖維與樹脂間殘留氣泡等瑕疵問題發生,瑕疵的種類則包含樹脂不足、空洞、層離等,一出現瑕疵情況,船殼材料就供應不上,拖延遊艇交貨時間。 玻璃纖維船殼瑕疵種類示意圖。 為解決此一問題,嘉信遊艇與金屬材料產業以及AI科技產業三方專業技術的相互合作,結合金屬材料產業的超音波檢測專業技術與AI科技產業近年發展的AI技術協助解決嘉信遊艇瑕疵判別的問題。作法是運用相位陣列式超音波檢測技術至遊艇複合材料結構,進行FRP超音波試掃評估,瞭解遊艇船殼積層層數厚度與材料特性,依據超音波專業經歷,評估船殼結構適用的超音波探頭頻率等資訊,經測試以頻率5MHz且探頭寬度為45mm的探頭設備,能成功找出模擬瑕疵試片中的瑕疵位置及大小。 三方合作從陣列超音波評估、AI技術模型開發及實船實證應用,獲得瑕疵檢測解決方案。 檢測影像為超音波信號影像,影像依據超音波回饋訊號呈現不同色彩,透過YOLO演算法,建構自動識別瑕疵的部位的AI模型。若異常資料蒐集程度不足以訓練,則預計採用 CNN-based Autoencoder 演算法,蒐集正常影像資料進行訓練,建構異常檢測的AI模型。物件偵測YOLO模型的訓練將輸入具有瑕疵標註的影像資料,異常檢測模型則是輸入沒有瑕疵的影像資料進行訓練。 模擬缺陷試片對應相位陣列超音波信號結果 AI系統瑕疵檢測 可縮短15個月工期 加快50判讀速度 此套AI系統建構完成後,運用至嘉信遊艇實船54呎遊艇進行驗證,可有效解決嘉信遊艇瑕疵之問題,並可望藉由 AI 技術導入超音波檢測進行智慧化判讀,約可加快50之判讀速度,同時縮短15個月的工期,有效提升遊艇製程時程與品質的效益。 當臺灣遊艇發展朝向大型化、精緻化型態之際,帶來產業優化與轉型的機會,以及發展關鍵技術的契機。複合材料超音波人工智慧檢測方案之應用為遊艇業界首創,預計可吸引更多有檢測需求之遊艇廠商。 複合材料超音波人工智慧檢測方案有三大競爭優勢: 1 專業檢測經驗及數位化資料庫,便利製程管理與分析。 2 人工智慧AI自動判讀與辨識,快速辨識瑕疵,即時回饋給製程工程師。 3 高效率製程流程檢測,提供瑕疵修復建議,降低損壞率,強化複合材料強度品質。 導入人工智慧技術應用後,可優化遊艇製程流程,減少人力檢查樹速度,達到臺灣遊艇應用人工智慧之加值效應,擴大國際訂單量,讓臺灣遊艇持續在國際間享有盛名。再者,此一商業模式也擴散至複合材料相關之應用領域,增加跨領域市場使用率,預估將貢獻全台灣設備維修及非破壞檢測市場約新台幣14至20億元的經濟效益。