:::

【109年 應用案例】 運用深度學習的AI檢測系統,只要0.5秒就能對不規則多邊形體瑕疵做出檢測!

傳統製造業採人工目視檢測產品,品質良率缺乏穩定性

傳統製造業所生產的產品,「品質良率的優劣」是至關重要的議題,也是客戶業務要求的決定因素。近年來雖已有許多AOI視覺檢測輔助系統,但在自動化導入檢測系統時,仍有多項限制條件無法克服。

例如:少量多樣的產品外觀、無法標準化的不規則多邊形產品尺寸、因光線不同角度暈射之玻璃或金屬產品等,不易以AOI視覺檢測來輔助產品良率的過濾,所以仍有許多傳統製造業採用人工目視檢測產品的品管流水線。

人工檢測耗力耗時,國外解決方案昂貴

國內某模型新創製作公司,因常有客製化少量多樣的產品需要製造,雖有國外進口百萬級模具設備,但在產品外觀品質檢測的部份仍多用人工目視檢測,每位員工的測試標準不一,且為了正確完整的檢視產品的外觀,每個人所花費檢視的時間也不容易控制,往往同一個產品需要反覆檢視才能確保品質標準之要求,相當耗力耗時,也易受外界環境影響。

模型公司雖曾評估擬改採國外的AOI視覺檢測設備,但一組設備的價格不菲,又只能檢測部份型式的產品參數,且無學習功能以達到多樣化檢測的目標,故仍只能被動維持原方案……

客製化解決方案,大幅提升檢測效率與節省人工成本

為了降低人工作業的誤判率及操作成本,進而提升公司產品競爭力,模型公司尋求五百戶科技有限公司協助,期望透過客製服務,以Deep Learning人工智慧技術導入,改善傳統AOI視覺檢測系統的缺點,增加可用視覺檢測系統之產品面向種類,更精準地提升視覺檢測產品的準確性。

五百戶科技在國立中央大學創新AI研究中心的協助下,依據模型公司提供的五種瑕疵條件定義,如:刮痕、毛屑、白斑、損傷破裂與烤漆不均勻等狀態,先蒐集訓練集資料,再手動加工複製瑕疵條件到產品的其他位置與角度,再接著運用程式產生不同角度、光線變化下的瑕疵圖檔,並進行瑕疵標記。

並使用不同演算法所需的訓練集程式方法,如:VGG、RestNet、Inception、DenseNet、Xception、SqueezeNet、對目標的遷徙學習、分類問題Faster_Rcnn、SSD、Yolo、Mask_Rcnn等物件辨識演算法後,經過精確率與速度的綜合考量下,進而選擇了SSD作為主要核心測試檢驗用的演算法。

再產出該演算法所需要之訓練集格式內容,做為比對模型使用;繼而使用不同的AI框架,如:tensorflow、keras等,都做了實際的驗證測試,並產出驗證測試報告,最後調整出每種產品檢驗時的最佳應用參數,確保檢測準確率達平均95%,檢測時間也由5秒減低至平均0.5秒。

模型公司原製作流程僅於人工檢測完成後,批次加蓋QC合格印章,或挑出有瑕疵之產品。導入此檢測系統後,原流程不變,但加速了人工判斷的時間,並且在過程中錄影存檔作紀錄,若有瑕疵品便會出現紅色警示並記錄成照片,該件商品即被排入瑕疵待檢區,人工檢測後若為合格品即可往下檢測下一產品,大幅提升檢測效率與節省人工成本!

低成本、高效能的AI檢測新選擇!

以機器取代人力的視覺檢測技術,在少量多樣訂單生產、急單和勞動人口短缺情況下,扮演越來越重要的角色。相對國外昂貴的檢測方案,國內能提供相對便宜且客製化之方案,無論是購置成本或檢測效能,都吸引更多業者躍躍欲試,將能有效提升製造業者生產品質之良率,進而提升競爭力。

推薦案例

【導入案例】AI嘛會煮咖啡 無人烘豆機靠AI 精準設點與培養忠實客群
AI嘛會煮咖啡! 無人烘豆機靠AI 精準設點與培養忠實客群

你早上來杯咖啡了嗎 臺灣於過去十年以來,逐漸形成一股喝咖啡的文化風潮,隨著AI技術的精進,無人烘豆機也能靠AI精準設點,同時培養忠實客群,我們來看看,這是如何辦到的 根據國際咖啡組織 ICO 調查,國人一年喝掉約 285 億杯咖啡,臺灣咖啡市場規模上看 800 億元,且每年約有 20 成長。 臺灣近十年來,人手一杯的「喝咖啡」文化,已成為流行的代名詞,而「咖啡」甚至以65的高比例當選為國人平日最常選擇的飲品,其中重度咖啡愛好者的族群更願意花費更高的價錢去選購符合自身口味的咖啡豆來享用咖啡。近兩三年來,越來越多無人飲品販賣店於臺灣飲品市場上問市。 無人咖啡飲品店無法快速展店,主要受到兩大問題困擾,一是客流量與機器設點位置的合適性,往往仍需憑藉人力進行評估分析;二是如何精準打入中高階咖啡愛好者市場 AI解決無人烘豆機設點合適性與培養忠實客群兩大難題 為解決上述兩大問題,協助無人烘豆機能迅速打開市場,昇銳電子擬以透過導入AI 人流計數分析與AI 人臉陌生辨識,來針對無人烘豆機的設置地點進行人潮數量計算,且歸類消費者的性別及年齡,以進行更為精準的商情分析;並提供消費者對於烘焙咖啡生豆的多重選擇,期以給予專業的咖啡愛好者更客製化的服務與貼近其需求和個人口味的一包「高品質烘豆」。 自2018年起,無人販賣店的興起,無非是因為業主想減少不斷上漲的租金與人事成本的費用支出,但在店面設點的初期評估,卻仍需花費鐘點人力費以人眼計算客流量,但人非機器,難免會有計算來店消費者與道路上經過人潮的錯誤率,而無法做到精準的即時客流分析,或甚至經過一段試營運後才進行估算是否達到設點的營運效益,以上皆會造成錯失最佳撤掉設點位置的停損時機。 昇銳電子搭配AI人流計數分析和AI人臉陌生辨識,推出無人烘豆機。 昇銳電子搭配AI人流計數分析和AI人臉陌生辨識,與帶來「黑金」風潮的咖啡進行商機結合,並且抓住臺灣眾多咖啡行家喜歡親自至量販店耐心挑選符合自身口味的咖啡生豆與喜愛去高品質的研磨咖啡廳或連鎖咖啡店之消費習慣與特點,故誕生針對咖啡豆產地、品種、烘焙方式等提供選擇的第一台無人咖啡烘豆機之新創概念。 AI烘豆機提升客戶忠誠度與物料管理效率達20 針對無人烘豆機的精進開發,昇銳電子工程師搭載AI NVIDIA 開發平台於TCNNFacenet 的基礎上進行,透過AI 將關於性別及年齡搜集之數萬張的影像資料進行樣本訓練,以針對首次選購咖啡烘豆的消費者也能利用人臉陌生辨識來簡單地歸類,藉此取得消費者的信任並提升使用意願,並進而進行購買資訊紀錄及未來商品購買推薦以產出消費者購買行為分析,便可使業主參照消費者對於不同咖啡生豆的偏好度高低,作為未來物料準備數量之依據,以降低原物料轉運及庫存問題,並提升物料管理效率達20。 再者,業主可透過放置此無人烘豆機於選定之人流匯聚率高的地段內,便能透過攝影機捕捉人潮,並針對機台擺設位置的客源是否充足,進行對於經過人潮數量的計算,進而評估消費者佇足購買機率的高低,並於短時間內分析出是否需要將機台進行移設,並可更容易地瞄準出中高階咖啡愛好者所在的最佳設點位置。 而關於無人烘豆機有專業烘焙模式介面,其針對咖啡生豆的產地來源、品種、烘焙方式(淺中深焙)、入豆與出豆溫度、轉速溫度與目標溫度等跟溫度、風速和秒數相關之選擇,提供消費者多種選項以烘焙出符合自己愛好的客製化精品咖啡豆。而若過程中業者針對機台有要進行改善的需求,工程師能配合調整韌體參數,也能協助與業主的訂單系統進行整合。 服務人員簡述無人烘豆機的操作方式 「黑金」透過AI 可更深入至咖啡廳、科學園區、商業大樓 此一無人烘豆機針對咖啡行家的客群,不僅能設點於中高階咖啡廳,以烘製相較於在量販店購買更為客製化的咖啡豆,更能在製作完成一包咖啡豆時,即時提供給咖啡廳內專業的技術店員協助進行咖啡研磨與手沖,而剩餘的烘豆也能將其帶回家之後自己沖泡與享用。在這之中也為咖啡廳帶來了附加價值,其可更加了解消費客群對於咖啡豆的偏好程度,並能推出更能吸引顧客的飲品促銷活動與進行合適的備料管理。 而除了咖啡廳,無人烘豆機也能透過AI 人流計數分析,精準設點於科學園區與商業大樓裡或附近店面,以提供其有高度飲用咖啡需求的內部員工,於辦公室也能手工沖泡的優質咖啡豆。另外,更能推出實體會員制以隨時發起選購咖啡豆之促銷活動,或不定時提出支付優惠回饋,進而吸引到新客源與培養既有顧客的忠誠度和黏著度。 智慧無人烘豆機的操作介面

【導入案例】巨量遙測空間數據AI分析雲端服務平台 使衛星遙測影像順利落地應用
巨量遙測空間數據AI分析雲端服務平台 使衛星遙測影像順利落地應用

衛星遙測影像雖然可以讓地面景物無所遁形,然真正要能落地應用至產業面,還需要耗費大量時間與人力。為有效解決客戶面臨巨量影像資料消化困難及消除跨領域用戶對衛星遙測影像處理的技術障礙等問題,興創知能研發「巨量遙測空間數據AI分析雲端服務平台」,作為智慧空間資訊跨域AI應用導入的新開端。 近年來,為了因應產業全球化衝擊,臺灣農業轉型持續走向科技化與精緻化,紛紛從微氣候衝擊、病蟲害防治等問題的解決,來提升農作物的產量與品質。為了精確掌握作物的生長環境、農業對於影像的使用,有了無限擴張的需求。 在早年UAV無人機尚未盛行的年代,人工田野調查是最基本、卻也最消耗人力的工作,有了UAV無人機的出現,航拍操作也許不太困難,但能拍的範圍受限,要精確地擷取空間資訊,還需要測量專業。此時,衛星遙測數據的使用可能就此跳脫過去使用影像資料的想像。 國家太空中心TASA資料倉儲服務 在近十年,現代衛星遙測應用技術的突破,數位地球成了全球資料採集的新趨勢、各國紛紛發展資料立方的影像倉儲技術,各國發展智慧農業成了最大的影像用戶之一,掌握作物的栽種分佈,就是掌握作物產量的第一步,有了免費的衛星遙測影像、強大的資料倉儲支援,以及團隊穩健的影像辨識技術,是加速農業轉型的重要支持。 運用衛星遙測影像數據 可加速智慧農業發展 然而,在過去,想透過衛星遙測影像來萃取大面積作物分布,也是困難重重,所需要花費的費用不說,若想使用免費的資訊,必須逛透國際太空機構的網站,在琳瑯滿目的衛星產品規格表中,審慎評估感測器規格、影像解析度以及再訪週期,找到適合的影像後,還得一幅一幅的看,去蕪存菁,接下來,動輒數百MegabyteMB的影像資料、連續幾十張的影像下載存檔,所用的電腦容量恐不堪負荷。 還有,當克服影像存取、備好資料後,接著必須開始確認下載的影像產品,哪些才是想要的波段,因為眼前看到的影像並不只是一個圖檔jpg或png,複雜的多光譜資訊、屬性欄位和座標資訊,光是確認正確的資訊,就耗費龐大心力。 而面對功能複雜的GIS套裝軟體,又是另一個麻煩的開始,複雜的影像前處理流程,以及缺乏彈性的機器學習套件,大幅降低分析資料的效率。好不容易做出作物辨識的結果,才發現可能已經過了圖資使用的黃金時期。上述複雜耗時的衛星影像處理問題,恰恰就是市場的痛點, 興創知能從傳統的機器學習擴展到現代的深度學習應用,研發在GeoAI框架下的「巨量遙測空間數據AI分析雲端服務平台」,為客戶突破這些空間資訊的魔鬼細節。 AI分析雲端服務平台流程導入前後之差異 興創知能表示,在我國國家太空中心TASA, Taiwan Space Agency的多年努力下,屬於臺灣的ODCOpen Data Cube系統也已打造完成啟動服務,與國際趨勢正式接軌,強大的倉儲技術讓使用者可以輕易的根據需求,擷取並使用特定時間與空間範圍的影像資料,倉儲收納了國際太空機構旗下的多個衛星影像資源,包含ESA的Sentinel-1每隔6日一幅、Sentinel-2每隔6日一幅,USGS的Landsat-7每隔16日一幅、Landsat-8每隔16日一幅,以及國內自有的Formosat-2每日一幅與Formosat-5每隔2日一幅。 以Python語言為基礎 興創知能開發衛星影像辨識工具 擺脫GISGeographic Information System套裝軟體的侷限,興創知能以Python語言為基礎,整合GDALGeospatial Data Abstraction Library,並考慮運算效率與平行處理,完成所有衛星影像處理與影像辨識建模所需的工具開發,包含座標系統與資料格式的轉換、網格與向量資料互動,以及資料內差與正規化等工具,都是以AI應用為考量進行設計,而部分常用的工具更以TronGisPy為名,打包為開源套件造福技術社群。 興創知能善用團隊對衛星遙測影像的了解,以及透過所蒐集的標記資料作物分佈圖資,預設好影像辨識建模過程,所需的訓練資料規格與資料集定義,套用事先完成的機器學習LightGBM或深度學習CNN框架,並讓整個訓練過程在Web GIS的介面中,提供使用者部分的彈性,自由篩選影像、確認時空範圍、選用模型與超參數調整。除了訓練模型的操作,也提供歷史模型的運用產出辨識結果,最終讓作物分佈的辨識結果展示在Web GIS圖台。 事實上,不僅只是農業才會有衛星遙測的應用需求,隨著各行各業為了提升企業全球性的競爭能力,空間資訊的智慧化應用也大幅度的出現在各種領域之中。舉例而言,擁有大量圖資的測繪業者,能夠透過AI分析雲端服務平台 ,收納圖資的同時也加速數化製圖的效率;在全球氣候劇烈變化與致災性地震風險之下,產業保險類別豐富,農業保險、金融保險或是災害保險,都與空間資訊脫離不了關係,透過遙測影像辨識掌握保險標的早已成為國際趨勢。 巨量遙測空間數據AI分析雲端服務架構

這是一張圖片。 This is a picture.
CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。 需求痛點 日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。 1 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGV(Automated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。 2 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。 3 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。 4 卸貨碼頭區:日月光L但碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。 異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像 日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。 問題情境 物件偵測 物件偵測資料來源分成兩個部份 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。 九大物件 顏色辨識 顏色辨識資料來源分成兩個部份網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。 動態忽略免除混淆訓練 從OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。 動態忽略 AI幫你看 CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。