:::

【110年 應用案例】 海量數位工程AOI機器智能手臂檢測系統 大幅提高瑕疵檢測精準度

臺灣堪稱製造業大國,然而,在產線上,品質瑕疵檢測一直是製造業長期痛點,雖然有AOI設備可輔助,但大多採用固定式機器,受限於角度,診斷不夠精準,誤判率也高。海量數位工程公司導入AOI機器智能手臂檢測系統,可有效降低誤判率,提高瑕疵檢測精準度。

一般來說,產品的良率攸關企業的成本與客戶的退貨率,而製造產業品質瑕疵的檢測流程,往往需要編制大量的品質檢測人力。目前製造業檢測工具雖然有AOI設備來輔助進行,但這些設備多半採用固定式的檢測機器,固定式相機容易受限於角度,導致診斷不夠精準,誤判率太高等缺點,因此,人員在後端需要再次篩選檢驗,也就是複檢,通常人工目測檢視的瑕疵漏檢率平均在5%上,甚至可高達20%。

製造業品質檢測三大痛點 機器手臂+AOI之動態多角度品檢協助解決

根據海量數位工程實際了解製造業在檢測產品品質有三大痛點:

痛點一、人力檢測產品品質出錯率高 目前製造業多以人力來檢測產品外觀,但人工判斷多半有誤差,例如:表面刮傷、色差、焊道(外觀)…等,瑕疵判斷出錯率高,且須待成品階段才能一次性檢驗,時常出貨前全檢後依然遭整批退件,導致重製及人力成本大增。

痛點二、品質檢測之數據無法量化與記錄 傳統人力檢測無法保留檢測數據,嗣後發生品質糾紛時,責任難以釐清。而海外品牌高階代工單往往要求溯源與相對應的缺點紀錄,傳統產業原有之人力檢測難以符合更高階代工單之要求。

痛點三、傳統AOI視覺檢測的限制 現有製造業常用的AOI視覺檢測系統,因為視覺軟體技術的限制,都是以固定相機、固定光源及單一角度的方式來進行,這種方式對於平面或形狀由直線組成之產品(例如:長方體或正方體)的單一檢測點尚可處理,但對於複雜形狀的產品(例如:汽車零件多為不規則狀)多點、多幅度的檢測,就較難實現。

海量數位工程研發AOI機器智能手臂檢測系統,有效提高瑕疵檢測精準度。

▲海量數位工程研發AOI機器智能手臂檢測系統,有效提高瑕疵檢測精準度。

為解決製造業在品質檢測的痛點,海量數位工程決定從研發多角度、可移動式的檢測儀器開始發想,從結合工廠自動化領域中的兩大代表性技術-機器手臂與機器視覺著手。海量數位工程以機器手臂結合AOI之動態多角度AI視覺即時品質檢測方式,改善固定式檢測受限多角度的問題,視覺檢測技術的提升與結合人工智慧,進一步相機取得的影像資訊可由平面取樣提升至多角度、多維度取樣。

選定汽車產業做為實證場域 可快速回應顧客需求

AOI機器智能手臂檢測系統,所運用的AI技術包括無監督學習(unsupervised)、監督式學習(Supervised learning)、半監督式學習(Semi-supervised Learing),使業者在初期樣本不齊全,或是沒有不良樣本的情況下也能使用無監督深度學習技術學習良品,並應用在汽車三角架自動焊接的視覺檢測上。可解決導入前受限於固定式機器的角度、診斷不夠精準、誤判率高的問題。

▲汽車零組件單價較高,會要求更嚴格的瑕疵檢測正確率。

在導入AI服務的產業中,選定汽車製造業作為實證場域。海量數位工程表示,汽車製造業主要為相關零組件製造商,而且通常元件單價較高,需更多品質檢測品質及良率,會要求更嚴格的正確率,因此選定汽車業做為導入的場域。 機器手臂結合AI之動態多角度AOI視覺即時品質檢測系統,除了可以改善汽車零組件檢測瑕疵品質失誤率外,因為以多角度的機器手臂AOI服務來提升定點式AOI光學檢測,可以符合多數產業之量測需求;最後是建立第三方系統平台,建置共同工作整合平台監測系統,以便在問題發生時,第一時間接收訊息並著手處理。

本系統可針對出廠產品之重要數據進行記錄儲存,為實現未來數位生產線與虛擬生產之基礎。同時於瑕疵發生時,可即時串接海量MES監控系統,迅速反應至相關製造決策部門,嗣後並利用ERP系統進行專案管理與檢討,有效精進其生產效率,降低生產成本。

有助降低溝通成本 期許成為行業標配

就產業上下游整合而言,可以為上下游之數據連貫提供一基礎之標準,降低供應鏈之溝通成本,經由指標代工廠與品牌商的認證,有機會成為該產業之行業標準配置。 透過此一計畫的產出數據資料庫建置,業者進一步透過大數據分析(Data Analysis),優化供應鏈管理的解決方案「供應鏈規畫(Supply Chain Planning, SCP)」,依據數據,建立預測計畫,並運用科技串連供應鏈上下游的數據,精準控制產品品質。未來對接歐美、日,需要品質精細訂單,業者能更快速回應及整合產業供應鏈(Supply Chain )。

最後期望透過標竿示範產業之場域驗證,例如:以汽車零組件製造產業標竿示範場域,透過機器手臂結合AI之動態多角度AOI視覺即時品質檢測系統計畫進行驗證,讓汽車代工廠與汽車原廠之間有更優化的供應鏈聯繫,並成為該行業標準。更進一步尋求更多的AI團隊,加入場域協作平台跨產業之開發,帶動整體AI新創與場域結合的生態系。

▲海量數位工程研發的自走車

推薦案例

【解決方案】佐翼科技無人機導入高爾夫球場域 可節省一半人力
佐翼科技無人機導入高爾夫球場域 可節省一半人力

對於大多數的高爾夫球場而言,場務的營運及管理是一個令人頭疼的問題。「球場就是在賣草皮,場地一定要顧好」,一位高球場負責人不諱言指出。面臨球場場務人力短缺、老年化及成本高昂的市場痛點,導入AI無人機進行農藥噴灑及防蟲害,將可節省球場一半以上的人力成本,並大幅提升整體營運效率。 初夏晌午,位於桃園的台北高爾夫俱樂部,AI智慧無人機緩緩升空,其主要的任務是進行高爾夫球場AI 智慧無人機施肥噴藥的測試。事實上,執行此項任務的佐翼科技,其無人機普遍使用於稻田、香蕉、茶樹等農作物,來從事施肥施藥及防治病蟲害的工作,對於動輒數十到上百公頃的高爾夫球草坪,要運用AI無人機協助草皮維護作業,現階段將進行資料蒐集、建立施藥AI模型及多光譜影像分析測試等,未來將進一步進行大規模的技術落地驗證,為無人機導入高爾夫球場域建立典範。 透過AI無人機施肥灑藥 可節省一半人力 傳統高爾夫球場維護草坪的作業方式,是以人工揹著藥桶,或是駕駛施藥車逐一分區進行噴灑。「國內高爾夫球場於2001年起開始種植超矮性百慕達草種品系,此一草種喜好涼爽的氣候,台灣高溫潮濕的天氣型態並不適宜」,佐翼科技執行長進一步指出,為避免草皮遭受病蟲害,就必須進行農藥噴灑工作,以18洞球場而言,相當於每周要噴灑一次殺菌劑,T台及球道每兩個月噴藥一次。對於高爾夫球場而言,噴灑農藥耗時費力,重要的是,大規模噴灑將增加人員中毒與農藥量增加的風險。 農用無人機在高爾夫球場應用之效益 根據佐翼科技研究,高爾夫球場的蟲害包括夜盜蟲、斜紋夜盜蛾等,其生活習性是傍晚會出來覓食,因此,噴藥的工作必須傍晚施作。依據傳統作業方式,每次施藥估計需要兩台車三個人力,共耗費45小時的時間。若透過AI無人機施肥灑藥,操作人力僅需1人,20分鐘可以噴灑08公頃土地,約可節省三分之二的人力,也可減少營運成本30左右。 高爾夫球場草坪透過AI無人機施肥灑藥,約可節省一半人力 啟用農用無人機應用於高爾夫球場的草皮維護,除了顯著的效益顯現外,佐翼科技也特別導入AI多光譜影像辨識建立NDVI標準化植被指數分析,「所謂的多光譜是將不同的波長波段光線打在草坪的植株上,蒐集反射回來的影像進行分析」,佐翼科技劉姓執行長接著解釋,因為不同光譜,每一種植物在光的波長吸收程度不一,透過多光譜可以掌握草種生長狀況。同時再結合AI影像辨識,可以精準偵測病蟲害分布情況,據此決定施藥量的多寡。 跨領域協作 建立無人機草坪多源影像資料庫 運用AI多光譜影像辨識技術,佐翼科技將蒐集包括可見光譜、多光譜、熱影像和高光譜影像等,建立無人機草坪多源影像資料庫,完整掌握百慕達草種生長週期。 佐翼科技累積豐富的農業AI無人機噴灑藥劑經驗,但要將AI解決方案導入大面積的高爾夫球場仍有諸多問題需要克服。例如需要建立全新施藥模型及測試飛行方式,尤其是多光譜影像辨識運用,概念驗證並不困難,但實際執行則需要更多的測試實證,反覆推論,並與植物專家建立協同作業才能完成,這部分則須仰賴資策會等法人單位跨域整合,集結更多場域投入實證,建立典範,才能在高爾夫球場場域擴散。 智慧無人機導入高爾夫球場的國際案例文獻並不多,在驗證的過程中,能否快速複製至下一個球場尚未可知,但佐翼科技劉姓執行長認為,透過跨領域協作的方式,將問題定義清楚,一一臚列,供需雙方取得共識,針對每一個問題提出可以解決的方案,並找尋內外部的資源合作,才能逐步完成高爾夫球場智慧化的目標,順利協助產業轉型。 佐翼科技執行長劉峻麟

【導入案例】防患於未然 麗臺科技研發心臟衰竭AI辨識技術可及早發現病徵
防患於未然 麗臺科技研發心臟衰竭AI辨識技術可及早發現病徵

隨著高齡人口增加,伴隨著各種慢性病的發生機率日增,其中,心臟衰竭不僅是隱形殺手,由於心衰疾病的病程非常長,復發機率高,造成醫護人員的負擔加重。然而,利用通過醫療認證之心電心音裝置,搭配心臟衰竭風險AI預測評估及遠距照護系統可輔助診斷幫助醫師做出正確的診斷,以利於後續病患的醫療或轉介。 心臟衰竭病程長 醫療支出是糖尿病5倍 如果你有呼吸易喘,甚至稍微動一下就喘,或是夜晚睡覺的時候,容易從睡夢中驚醒,需要坐起來才會比較舒服,又或是下肢容易有水腫等狀況,甚至合併有焦慮、不安、疲倦、食慾下降hellip等症狀,當心很有可能是心臟衰竭。 根據統計,全球心臟衰竭人口約有6000萬人,每年新增的心臟衰竭人口約500萬人。中國的心血管疾病患者將近29億人口,占城市居民死亡原因第二位;而全中國約有1200萬心臟衰竭病人,佔心臟病死因的59以上。尤其心衰疾病的病程非常長,且復發及再入院率非常高,使得醫療支出的成本是高血壓的2倍、糖尿病的5倍。 根據美國研究統計,心肌梗塞及心臟衰竭病人的30天內死亡率分別為166及111,並且30天內再住院率分別為199及244。心臟衰竭的症狀因為和其他疾病如慢性肺阻塞,氣喘等疾病相似,有185 的誤診率,對於醫療院所而言,是相當棘手的問題。 麗臺科技為顯示卡大廠,2000年起投入醫療及健康照護領域。由於董事長盧崑山曾分別與2011年及2015年兩度心臟病發,因此,麗臺科技專注於健康大數據,自主研發心臟衰竭AI辨識技術,此一AI應用讀取病患的心電圖以及心音圖做出異常檢測以及心臟衰竭的風險預測模型,可及早發現疾病徵兆。 麗臺科技自主研發心臟衰竭AI辨識技術 可預測病史及風險 麗臺自主研發之心臟衰竭AI辨識技術具以下三種判斷功能: 1 心臟衰竭病史之預測 將心電及心音圖資料分類為「具心臟衰竭住院病史」以及「未具心臟衰竭病史」兩類。 2 心臟衰竭風險預測 將心電及心音圖資料給予發生的心臟衰竭風險預測值。 3 心臟衰竭再發生風險預測 針對已有心臟衰竭的患者判讀其心音圖及心音圖,判斷其心衰再發生之風險預測。 麗臺科技表示,心臟衰竭AI辨識技術應用可輔助醫師更有效率且精確的診斷,以利後續病患的醫療或轉介。舉台北榮總研究心臟衰竭的離院病患為例,根據心電心音同軸檢測裝置所計算出的EMAT電機活化期指數與SDI心縮不全指數作為治療指引的病患,會比依據傳統症狀做為治療指引的病患,有更高的存活率,此研究也已刊登於國際心臟權威期刊JACC,獲得國際市場肯定。 系統廠商可將心臟衰竭AI辨識技術作其他加值應用 麗臺科技表示,合作系統廠商可選擇自建心臟衰竭AI風險預測引擎,將自有系統之心電心音圖上傳到麗臺心臟衰竭AI風險預測引擎後,引擎回傳風險預測值,做為系統整合廠商合作廠商的加值應用輸入。 不僅臨床使用 心臟衰竭AI風險預測引擎可延伸居家或工作場與使用 此外,這套系統也可以延伸至其他應用,包括: 一、醫院門診快篩:醫師可使用心電心音記錄器及心臟衰竭AI風險預測模型,在門診、急診進行10秒快速檢測,評估病患心臟病史及心臟衰竭風險。 二、出院風險評估:醫師可使用心電心音記錄器及心臟衰竭AI風險預測模型,評估病患住院期間的心臟衰竭風險,檢測數據可作為出院前的風險評估及預後指標。 三、居家連續照護:病患可使用心電心音記錄器、穿戴心電圖記錄器,透過居家傳輸盒閘道器,在家量測心電心音訊號,並上傳至amor健康雲平台進行心臟衰竭AI風險預測分析。病患可透過APP自主健康管理,檢視歷史生理趨勢;疾病個管師可透過健康管理後台Web管理會員健康。 四、居家康復訓練 病患可配戴健康手環,進行活動、疲勞、循環、睡眠檢測,透過手機APP自主管理健康及觀察心臟衰竭風險,進行運動及康復訓練,幫助身體快速復原。 心臟衰竭AI辨識技術系統可以延伸至員工居家照護等應用。 此外,在工廠或辦公室等場域也可以透過這套系統達到員工健康管理的目標,應用的方向包括: 一、工作場域之作業安全單位:在員工執行工作業務前發給員工穿戴心電圖記錄器。 二、業務執行者生理監測:員工於執行業務或訓練時,配戴穿戴心電圖記錄器之疲勞警示,警示生理狀態是否可繼續執行任務。任務執行段落可使用資料傳輸盒或APP 將生理監測資訊上傳至健康管理平台,並評估作業員工心臟衰竭風險,檢測數據可作為企業資源人力單位做為風險評估及公共安全對應指標。 三、工作場域生理監控中心照護:工作場域的生理監控中心可透過健康雲平台,檢視並記錄員工值情時之歷史生理趨勢。 四、工作場域之護理單位:護理單位在接收生理監控中心指示,可依據值情員工的生理趨勢給予健康管理的建議;護理中心可透過健康管理後台Web管理員工健康。 五、員工可配戴健康手環,進行活動、疲勞、循環、睡眠檢測,透過手機APP自主管理健康及觀察心臟衰竭風險,進行運動及康復訓練,幫助身體快速復原。 工作場域應用心臟衰竭雲端照護及大數據中心示意圖

這是一張圖片。 This is a picture.
CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。 需求痛點 日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。 1 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGV(Automated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。 2 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。 3 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。 4 卸貨碼頭區:日月光L但碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。 異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像 日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。 問題情境 物件偵測 物件偵測資料來源分成兩個部份 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。 九大物件 顏色辨識 顏色辨識資料來源分成兩個部份網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。 動態忽略免除混淆訓練 從OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。 動態忽略 AI幫你看 CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。