:::

【113年 應用案例】 CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。

需求痛點

日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件/事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。

(1) 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGVAutomated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。

(2) 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。

(3) 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。

(4) 卸貨碼頭區:日月光L!碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。

異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像

日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。

問題情境
問題情境

物件偵測

物件偵測資料來源分成兩個部份: 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。

九大物件
九大物件

顏色辨識

顏色辨識資料來源分成兩個部份: 網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。

動態忽略免除混淆訓練

OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。

動態忽略
動態忽略

AI幫你看

CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。

推薦案例

【導入案例】挺進智慧物流50 新竹物流醫材配送班表超高效率
挺進智慧物流5.0 新竹物流醫材配送班表超高效率

傳統物流公司加上AI技術之後,在運送效率提升及運輸成本下降等效益大大提升,尤其是醫材轉運更涉及醫院及病患的服務時效及權益,透過智慧物流的建置,可為醫材業者節省投入建構GDP倉、配多達千萬元之成本。 國內重要物流領導廠商-新竹物流HCT擁有3,500輛車隊、6萬坪倉儲,提供物流、商流、金流、資訊流、流通、倉儲、加工之客製化物流解決方案。每日貨件處理件數達58萬件,最大處理能力每日可達90萬件,轉運效能的提升對於新竹物流而言,至關重要。 醫院醫材運送 需優化現有作業流程與提升系統化、智慧化 尤其是醫院醫材的運送,也面臨到難題。醫材業者需要針對客戶不同產品需求、不同溫層需求、不同配送時效等因素,透過多家物流業者進行出貨與物流作業,高度依賴作業人員的經驗與細心管制,無論是產品出貨過程與實際物流配送過程,需要環環相扣,若有任何人工失誤與錯誤,都會影響醫院與病患的服務時效與權益,因此各家業者與政府及醫院等,都致力於優化現有作業流程與提升系統化、自動化與智慧化程度,以有效降低服務過程中造成的失誤及成本損失。 新竹物流導入AI之前的配送流程。 現行在醫院需求端已有相關業者配合政府推動相關標準化平台作業,透過供應端業者的資料協同作業,改善產品出貨正確性與作業時效,提升需求端的作業品質與管理效益;同時,部分業者也投入企業內部作業流程標準化與系統化,提升業者營運效能與品質。 在貨運物流端方面,物流業者的倉庫出貨人員需要耗費人工進行管控不同的物流出貨作業安排,若因常常接到緊急任務通知,要出貨到醫療院所,往往需要依賴小型區域性物流業者來提供客製化配送服務,除配送時效提升外,並無法導入整合性的資訊化服務。 新上路的GDP醫材法規規範運銷品質,也就是醫材供應商必須進行GDP合規認證,必須導入符合GDP法令規範之倉儲與物流服務業者,如此一來,區域性小型公司將被淘汰,因此,新竹物流透過經濟部工業局的AI輔導計畫案協助,除延伸既有GDP符合法令的倉儲物流服務外,將進一步利用相關數據整合與最佳化AI技術,協助醫材業者簡化改善物流配送最佳化作業。 複雜的物流難題 運用Simulated AnnealingSA演算法求解 為能滿足新的「醫療器材優良運銷準則」中對於醫療器材優良運銷系統建構的要求,新竹物流除了積極導入新式物流車,更將導入人工智慧中數學最佳化技術,以協助公司在每日全國營業據點以及轉運站進行智慧班次排程規劃,期望以最佳化的車班進行醫材在營業據點間的對開,或是區域間的轉運,以提高醫材在運銷過程中的效率。 目前醫材在新竹物流的轉運過程中,使用可分離式拖車頭與貨櫃。每個營業所及轉運站由於區位與幾何設計不同,以及人員數量不同,單位時間內的吞吐量也有差異;再加上每天的貨況大小、目的地皆不相同,面對無法確定且需求不同的變化,拖車頭及貨櫃的派遣狀況便隨之改變。 在此情況下,新竹物流僅能根據以往的經驗來進行各個衛星所之發車班表,並根據此班表視每日不同變化之貨物需求量進行調整。 因為是根據經驗法則進行排班,所以,班表往往不能兼顧全盤的變化與考量,使得目前發車班表仍然存在著可以改善的空間。。 貨物遞送規劃本質上為一NP-Hard難題,因此難以用傳統的解析解法,新竹物流結合奇點無限公司採用Simulated AnnealingSA演算法進行求解。 新竹物流導入的新物流服務為「GDP櫃班次規劃」。所謂的班次規劃,指的是根據未來對於站所間醫材貨件的預估量,進行站所間貨櫃車班的班表規劃,目的是讓醫材能夠如期如質抵達,並且讓新竹物流在場站作業、車輛數、行駛里程得到最高的效益。 新竹物流導入AI最佳化班次規劃,從其起點至終點間建構出一條最有效率的運送路線。 新竹物流導入「最佳化班次規劃」服務 降低5運輸成本 導入方式是利用雲端軟體服務,由新竹物流定期輸入站所間醫材貨件之「交互件數表」至「最佳化班次規劃」服務後,設定好演算參數即可產生GDP櫃班次表。同時發展新竹物流醫材班表系統,使新竹物流醫材運務單位能透過交互件數表編制適合班表。在相同服務水準的前提下,預估可降低運輸成本5,為醫材業者節省下建構GDP倉儲、配輸成本達千萬元。 醫材由於其對於衛生、溫度的要求,以及其易碎性等特色,因此運輸與轉運的時間越少越好,越少時間暴露在外,則醫材配曝險程度越低,然而由於仍須考量物流效率與成本。AI將每個需要運送的貨物,從其起點至終點間建構出一條最有效率的路線,即可有效率地完成每日的運務作業。 因應未來產業物流高度發展需求,其中配送與轉運AI最佳化將是關鍵議題,透過本計畫將成立專案推動組織,配置AI技術、IT與流程領域人才,累積落地經驗後,逐步擴大AI實際應用場域,全面優化轉型新竹物流的營運體系,並結盟AIOT與各領域AI夥伴加速與擴大效益之達成。

【導入案例】維繫遊艇王國美譽 嘉信遊艇導入國內第一套FRP複材超音波智慧檢測
維繫遊艇王國美譽 嘉信遊艇導入國內第一套FRP複材超音波智慧檢測

位在高雄的嘉信遊艇,成立逾40年,是台灣最大客製化遊艇業者,客戶遍佈美、歐、亞、澳各洲,為臺灣贏得「亞洲遊艇王國」的美譽。為了解決目前FRP船體檢測仍仰賴傳統方法如人眼辨識、敲打辯聲,耗時費工問題,嘉信遊艇首度將PAUT 陣列式超音波檢測運用於船體FRP複材上,並結合AI判讀超音波影像,發展完整智慧化解決方案,創造檢測業新興市場。 嘉信遊艇前身是嘉信木業有限公司,剛成立時是間位於高雄市臨海工業園區專營木材進口的工廠,1977 年開始進行遊艇設計、製造與銷售。企業第二代接班人,即嘉信遊艇總經理龔俊豪進入公司後,打破過往仰賴老師傅功力為主的製造模式,引進數位化製作,加快造船速度,船也愈做愈大,多年排行世界24公尺以上大型遊艇前20大製造商。並創下在一年內交付94艘遊艇的紀錄,為臺灣贏得「亞洲遊艇王國」之美譽。 瑕疵檢測確保遊艇品質 以AI取代人力效益高 為確保遊艇品質,瑕疵檢測相當重要。目前遊艇業採取的瑕疵檢測方式仍十分傳統,通常以手積層或是真空灌注製程方式製造船殼結構,藉由人眼或是敲擊法依敲打聲音頻率來判別瑕疵,需要人工耗費時間檢查,如有瑕疵須重工修補,接續執行噴佈膠殼作業。為便於檢測,船體必須分段施工,以24公尺以上大型遊艇而言,分段施工非常耗時耗力。 為縮短遊艇製程之速度,嘉信遊艇會先將船殼進行膠殼流程,之後再執行手積層製程,船殼製程有兩種複合材料試片結構,以遊艇54呎船殼來看,船殼中內含膠殼、芯材、纖維、樹脂,總厚度約為32公分plusmn01cm,與未含有芯材的FRP船殼總厚度約16cmplusmn01cm相差一倍之多。製程中偶會有玻璃纖維含浸不完全,或是玻璃纖維與樹脂間殘留氣泡等瑕疵問題發生,瑕疵的種類則包含樹脂不足、空洞、層離等,一出現瑕疵情況,船殼材料就供應不上,拖延遊艇交貨時間。 玻璃纖維船殼瑕疵種類示意圖。 為解決此一問題,嘉信遊艇與金屬材料產業以及AI科技產業三方專業技術的相互合作,結合金屬材料產業的超音波檢測專業技術與AI科技產業近年發展的AI技術協助解決嘉信遊艇瑕疵判別的問題。作法是運用相位陣列式超音波檢測技術至遊艇複合材料結構,進行FRP超音波試掃評估,瞭解遊艇船殼積層層數厚度與材料特性,依據超音波專業經歷,評估船殼結構適用的超音波探頭頻率等資訊,經測試以頻率5MHz且探頭寬度為45mm的探頭設備,能成功找出模擬瑕疵試片中的瑕疵位置及大小。 三方合作從陣列超音波評估、AI技術模型開發及實船實證應用,獲得瑕疵檢測解決方案。 檢測影像為超音波信號影像,影像依據超音波回饋訊號呈現不同色彩,透過YOLO演算法,建構自動識別瑕疵的部位的AI模型。若異常資料蒐集程度不足以訓練,則預計採用 CNN-based Autoencoder 演算法,蒐集正常影像資料進行訓練,建構異常檢測的AI模型。物件偵測YOLO模型的訓練將輸入具有瑕疵標註的影像資料,異常檢測模型則是輸入沒有瑕疵的影像資料進行訓練。 模擬缺陷試片對應相位陣列超音波信號結果 AI系統瑕疵檢測 可縮短15個月工期 加快50判讀速度 此套AI系統建構完成後,運用至嘉信遊艇實船54呎遊艇進行驗證,可有效解決嘉信遊艇瑕疵之問題,並可望藉由 AI 技術導入超音波檢測進行智慧化判讀,約可加快50之判讀速度,同時縮短15個月的工期,有效提升遊艇製程時程與品質的效益。 當臺灣遊艇發展朝向大型化、精緻化型態之際,帶來產業優化與轉型的機會,以及發展關鍵技術的契機。複合材料超音波人工智慧檢測方案之應用為遊艇業界首創,預計可吸引更多有檢測需求之遊艇廠商。 複合材料超音波人工智慧檢測方案有三大競爭優勢: 1 專業檢測經驗及數位化資料庫,便利製程管理與分析。 2 人工智慧AI自動判讀與辨識,快速辨識瑕疵,即時回饋給製程工程師。 3 高效率製程流程檢測,提供瑕疵修復建議,降低損壞率,強化複合材料強度品質。 導入人工智慧技術應用後,可優化遊艇製程流程,減少人力檢查樹速度,達到臺灣遊艇應用人工智慧之加值效應,擴大國際訂單量,讓臺灣遊艇持續在國際間享有盛名。再者,此一商業模式也擴散至複合材料相關之應用領域,增加跨領域市場使用率,預估將貢獻全台灣設備維修及非破壞檢測市場約新台幣14至20億元的經濟效益。

【導入案例】赫銳特科技VCSEL封裝元件瑕疵導入AOI檢測 提升產能效率20
赫銳特科技VCSEL封裝元件瑕疵導入AOI檢測 提升產能效率20%

2017年,iPhone X的亮相讓提供 Face ID人臉解鎖的3D感測技術成為大熱門,也帶動了3D感測模組中的核心零元件VCSEL的發展。而VCSEL封裝元件入料瑕疵檢測,若透過AI推論模型可解決良率偏低產業難題,提升可靠度達95。 VCSEL技術現階段可被運用於諸多用途和各類終端消費市場,包括機器人、移動設備、監控、無人機,以及ARVR等。VCSEL在需求高速調製功能的應用(例如照相機和生物計量)中堪稱為不錯的解決方案。 VCSEL技術應用層面廣,也可應用於無人機。圖為佐翼科技農用無人機 VCSEL技術應用層面廣 AI技術助攻瑕疵檢測 赫銳特科技表示,VCSEL封裝元件市場也面臨到商業對手強力的削價競爭,需要進一步降低成本提升、產品競爭力,其中一個關鍵的難題就是將玻璃透鏡更換為環氧樹脂型透鏡。傳統玻璃透鏡的生產良率高,但成本較環氧樹脂透鏡高,因環氧樹脂經切割製程,側壁切割道上容易會有毛邊,造成尺寸過大,容易在打件時因為受熱而產生的應力釋放,將會直接導致光學透鏡破裂。 赫銳特科技指出,VCSEL環氧樹脂透鏡的入料檢測十分重要,在封裝空間的限制下,封裝與光學透鏡貼合的空間有限,且此光學透鏡會被侷限於一金屬框架內,若是沒有控管好尺寸公差,很容易在打件時因為受熱而產生的應力釋放會直接導致光學透鏡破裂,造成VCSEL封裝可靠度驗證良率損失最高達到10,造成生產成本增加。 為解決上述問題,赫銳特科技希望在VCSEL環氧樹脂透鏡的入料階段,可以藉由AI影像監控環氧樹脂元件的尺寸及外觀瑕疵,確認其尺寸是否合乎規格、切割邊緣是否平整、外觀是否瑕疵等。由於傳統的入料檢測,經通過大略的人眼目檢分辨好壞,為順利收集影像數據,首先需要解決影像蒐集的問題。 因此,赫銳特科技首先建立自動光學檢測裝置Automated Optical Inspection,AOI,自動光學檢測裝置包含X、Y、Z三軸動及高解析相機,及相關控制軟體自動記錄影像。蒐集完成後的影像資料,經opencv將測試影像Test與一標準正常影像Normal,進行影像對位後取出Test與Normal影像的差異部分,並可經由Pixel Mapping計算影像的像素面積進行比較完成初步篩檢。 承上之影像分類,進行手動標籤標示包含:正常、外觀瑕疵或形狀特徵差異之樣品,後進行演算法訓練與驗證,使用深度殘差網絡Residual neural network ResNet或其他相關演算法進行深度學習,以辨識出透鏡的優劣情形。 導入AOI檢測 提升產能效率達20以上 比較導入AI影像檢測的前後差異,導入前的VCSEL入料透鏡檢測,僅透過簡易的人工外觀檢測,將透鏡封裝在已固晶的VCSEL封裝體上,通過一般點亮檢測後,最後進行可靠度測試高溫回焊,失效樣品進再入重工流程。 但在導入AOI檢測之後,可提前將有問題的透鏡篩選出來,除了可以降低後續物料投入的成本,亦可減少失效情形降低重工的需要,因而提升可靠度驗證良率達95以上,預期可協助場域業者降低生產成本達10,提高產能效率達20以上。 導入AI影像檢測的前後之差異 赫銳特科技指出,這項技術是基於微小影像開發的AI應用技術,透過深度學習演算法辨識影像瑕疵,用來辨識瑕疵影像。而訓練後的網路來自動分類對應於預定類別的影像數據。透過參考影像就能辨識缺陷類別,因此不再需要繁瑣的編程。 而在工業機器視覺環境中,深度學習主要用於應用中的分類任務,例如在工業產品的檢驗或零件的辨識,未來隨著IOT穿戴裝置的發展,符合節能省電的潮流議題,光電元件尺寸將不斷的縮小,本技術未來也可應用在其他微小光電元件的外觀瑕疵檢測。