:::

【113年 應用案例】 CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。

需求痛點

日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件/事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。

(1) 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGVAutomated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。

(2) 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。

(3) 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。

(4) 卸貨碼頭區:日月光L!碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。

異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像

日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。

問題情境
問題情境

物件偵測

物件偵測資料來源分成兩個部份: 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。

九大物件
九大物件

顏色辨識

顏色辨識資料來源分成兩個部份: 網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。

動態忽略免除混淆訓練

OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。

動態忽略
動態忽略

AI幫你看

CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。

推薦案例

【導入案例】維繫遊艇王國美譽 嘉信遊艇導入國內第一套FRP複材超音波智慧檢測
維繫遊艇王國美譽 嘉信遊艇導入國內第一套FRP複材超音波智慧檢測

位在高雄的嘉信遊艇,成立逾40年,是台灣最大客製化遊艇業者,客戶遍佈美、歐、亞、澳各洲,為臺灣贏得「亞洲遊艇王國」的美譽。為了解決目前FRP船體檢測仍仰賴傳統方法如人眼辨識、敲打辯聲,耗時費工問題,嘉信遊艇首度將PAUT 陣列式超音波檢測運用於船體FRP複材上,並結合AI判讀超音波影像,發展完整智慧化解決方案,創造檢測業新興市場。 嘉信遊艇前身是嘉信木業有限公司,剛成立時是間位於高雄市臨海工業園區專營木材進口的工廠,1977 年開始進行遊艇設計、製造與銷售。企業第二代接班人,即嘉信遊艇總經理龔俊豪進入公司後,打破過往仰賴老師傅功力為主的製造模式,引進數位化製作,加快造船速度,船也愈做愈大,多年排行世界24公尺以上大型遊艇前20大製造商。並創下在一年內交付94艘遊艇的紀錄,為臺灣贏得「亞洲遊艇王國」之美譽。 瑕疵檢測確保遊艇品質 以AI取代人力效益高 為確保遊艇品質,瑕疵檢測相當重要。目前遊艇業採取的瑕疵檢測方式仍十分傳統,通常以手積層或是真空灌注製程方式製造船殼結構,藉由人眼或是敲擊法依敲打聲音頻率來判別瑕疵,需要人工耗費時間檢查,如有瑕疵須重工修補,接續執行噴佈膠殼作業。為便於檢測,船體必須分段施工,以24公尺以上大型遊艇而言,分段施工非常耗時耗力。 為縮短遊艇製程之速度,嘉信遊艇會先將船殼進行膠殼流程,之後再執行手積層製程,船殼製程有兩種複合材料試片結構,以遊艇54呎船殼來看,船殼中內含膠殼、芯材、纖維、樹脂,總厚度約為32公分plusmn01cm,與未含有芯材的FRP船殼總厚度約16cmplusmn01cm相差一倍之多。製程中偶會有玻璃纖維含浸不完全,或是玻璃纖維與樹脂間殘留氣泡等瑕疵問題發生,瑕疵的種類則包含樹脂不足、空洞、層離等,一出現瑕疵情況,船殼材料就供應不上,拖延遊艇交貨時間。 玻璃纖維船殼瑕疵種類示意圖。 為解決此一問題,嘉信遊艇與金屬材料產業以及AI科技產業三方專業技術的相互合作,結合金屬材料產業的超音波檢測專業技術與AI科技產業近年發展的AI技術協助解決嘉信遊艇瑕疵判別的問題。作法是運用相位陣列式超音波檢測技術至遊艇複合材料結構,進行FRP超音波試掃評估,瞭解遊艇船殼積層層數厚度與材料特性,依據超音波專業經歷,評估船殼結構適用的超音波探頭頻率等資訊,經測試以頻率5MHz且探頭寬度為45mm的探頭設備,能成功找出模擬瑕疵試片中的瑕疵位置及大小。 三方合作從陣列超音波評估、AI技術模型開發及實船實證應用,獲得瑕疵檢測解決方案。 檢測影像為超音波信號影像,影像依據超音波回饋訊號呈現不同色彩,透過YOLO演算法,建構自動識別瑕疵的部位的AI模型。若異常資料蒐集程度不足以訓練,則預計採用 CNN-based Autoencoder 演算法,蒐集正常影像資料進行訓練,建構異常檢測的AI模型。物件偵測YOLO模型的訓練將輸入具有瑕疵標註的影像資料,異常檢測模型則是輸入沒有瑕疵的影像資料進行訓練。 模擬缺陷試片對應相位陣列超音波信號結果 AI系統瑕疵檢測 可縮短15個月工期 加快50判讀速度 此套AI系統建構完成後,運用至嘉信遊艇實船54呎遊艇進行驗證,可有效解決嘉信遊艇瑕疵之問題,並可望藉由 AI 技術導入超音波檢測進行智慧化判讀,約可加快50之判讀速度,同時縮短15個月的工期,有效提升遊艇製程時程與品質的效益。 當臺灣遊艇發展朝向大型化、精緻化型態之際,帶來產業優化與轉型的機會,以及發展關鍵技術的契機。複合材料超音波人工智慧檢測方案之應用為遊艇業界首創,預計可吸引更多有檢測需求之遊艇廠商。 複合材料超音波人工智慧檢測方案有三大競爭優勢: 1 專業檢測經驗及數位化資料庫,便利製程管理與分析。 2 人工智慧AI自動判讀與辨識,快速辨識瑕疵,即時回饋給製程工程師。 3 高效率製程流程檢測,提供瑕疵修復建議,降低損壞率,強化複合材料強度品質。 導入人工智慧技術應用後,可優化遊艇製程流程,減少人力檢查樹速度,達到臺灣遊艇應用人工智慧之加值效應,擴大國際訂單量,讓臺灣遊艇持續在國際間享有盛名。再者,此一商業模式也擴散至複合材料相關之應用領域,增加跨領域市場使用率,預估將貢獻全台灣設備維修及非破壞檢測市場約新台幣14至20億元的經濟效益。

【導入案例】巨量遙測空間數據AI分析雲端服務平台 使衛星遙測影像順利落地應用
巨量遙測空間數據AI分析雲端服務平台 使衛星遙測影像順利落地應用

衛星遙測影像雖然可以讓地面景物無所遁形,然真正要能落地應用至產業面,還需要耗費大量時間與人力。為有效解決客戶面臨巨量影像資料消化困難及消除跨領域用戶對衛星遙測影像處理的技術障礙等問題,興創知能研發「巨量遙測空間數據AI分析雲端服務平台」,作為智慧空間資訊跨域AI應用導入的新開端。 近年來,為了因應產業全球化衝擊,臺灣農業轉型持續走向科技化與精緻化,紛紛從微氣候衝擊、病蟲害防治等問題的解決,來提升農作物的產量與品質。為了精確掌握作物的生長環境、農業對於影像的使用,有了無限擴張的需求。 在早年UAV無人機尚未盛行的年代,人工田野調查是最基本、卻也最消耗人力的工作,有了UAV無人機的出現,航拍操作也許不太困難,但能拍的範圍受限,要精確地擷取空間資訊,還需要測量專業。此時,衛星遙測數據的使用可能就此跳脫過去使用影像資料的想像。 國家太空中心TASA資料倉儲服務 在近十年,現代衛星遙測應用技術的突破,數位地球成了全球資料採集的新趨勢、各國紛紛發展資料立方的影像倉儲技術,各國發展智慧農業成了最大的影像用戶之一,掌握作物的栽種分佈,就是掌握作物產量的第一步,有了免費的衛星遙測影像、強大的資料倉儲支援,以及團隊穩健的影像辨識技術,是加速農業轉型的重要支持。 運用衛星遙測影像數據 可加速智慧農業發展 然而,在過去,想透過衛星遙測影像來萃取大面積作物分布,也是困難重重,所需要花費的費用不說,若想使用免費的資訊,必須逛透國際太空機構的網站,在琳瑯滿目的衛星產品規格表中,審慎評估感測器規格、影像解析度以及再訪週期,找到適合的影像後,還得一幅一幅的看,去蕪存菁,接下來,動輒數百MegabyteMB的影像資料、連續幾十張的影像下載存檔,所用的電腦容量恐不堪負荷。 還有,當克服影像存取、備好資料後,接著必須開始確認下載的影像產品,哪些才是想要的波段,因為眼前看到的影像並不只是一個圖檔jpg或png,複雜的多光譜資訊、屬性欄位和座標資訊,光是確認正確的資訊,就耗費龐大心力。 而面對功能複雜的GIS套裝軟體,又是另一個麻煩的開始,複雜的影像前處理流程,以及缺乏彈性的機器學習套件,大幅降低分析資料的效率。好不容易做出作物辨識的結果,才發現可能已經過了圖資使用的黃金時期。上述複雜耗時的衛星影像處理問題,恰恰就是市場的痛點, 興創知能從傳統的機器學習擴展到現代的深度學習應用,研發在GeoAI框架下的「巨量遙測空間數據AI分析雲端服務平台」,為客戶突破這些空間資訊的魔鬼細節。 AI分析雲端服務平台流程導入前後之差異 興創知能表示,在我國國家太空中心TASA, Taiwan Space Agency的多年努力下,屬於臺灣的ODCOpen Data Cube系統也已打造完成啟動服務,與國際趨勢正式接軌,強大的倉儲技術讓使用者可以輕易的根據需求,擷取並使用特定時間與空間範圍的影像資料,倉儲收納了國際太空機構旗下的多個衛星影像資源,包含ESA的Sentinel-1每隔6日一幅、Sentinel-2每隔6日一幅,USGS的Landsat-7每隔16日一幅、Landsat-8每隔16日一幅,以及國內自有的Formosat-2每日一幅與Formosat-5每隔2日一幅。 以Python語言為基礎 興創知能開發衛星影像辨識工具 擺脫GISGeographic Information System套裝軟體的侷限,興創知能以Python語言為基礎,整合GDALGeospatial Data Abstraction Library,並考慮運算效率與平行處理,完成所有衛星影像處理與影像辨識建模所需的工具開發,包含座標系統與資料格式的轉換、網格與向量資料互動,以及資料內差與正規化等工具,都是以AI應用為考量進行設計,而部分常用的工具更以TronGisPy為名,打包為開源套件造福技術社群。 興創知能善用團隊對衛星遙測影像的了解,以及透過所蒐集的標記資料作物分佈圖資,預設好影像辨識建模過程,所需的訓練資料規格與資料集定義,套用事先完成的機器學習LightGBM或深度學習CNN框架,並讓整個訓練過程在Web GIS的介面中,提供使用者部分的彈性,自由篩選影像、確認時空範圍、選用模型與超參數調整。除了訓練模型的操作,也提供歷史模型的運用產出辨識結果,最終讓作物分佈的辨識結果展示在Web GIS圖台。 事實上,不僅只是農業才會有衛星遙測的應用需求,隨著各行各業為了提升企業全球性的競爭能力,空間資訊的智慧化應用也大幅度的出現在各種領域之中。舉例而言,擁有大量圖資的測繪業者,能夠透過AI分析雲端服務平台 ,收納圖資的同時也加速數化製圖的效率;在全球氣候劇烈變化與致災性地震風險之下,產業保險類別豐富,農業保險、金融保險或是災害保險,都與空間資訊脫離不了關係,透過遙測影像辨識掌握保險標的早已成為國際趨勢。 巨量遙測空間數據AI分析雲端服務架構

這是一張圖片。 This is a picture.
以植物生長箱為例 - 依影像建構電子設備程序標準化

近年來,全球氣候變遷和環境問題日益嚴重,對農業生產造成了巨大衝擊。傳統農業高度依賴天氣條件,面臨著作物品質不穩定、產量驟減、病蟲害難以控制等挑戰。特別是在台灣,農業生技業者和農民不斷遭受損失,亟需創新解決方案。同時,台灣植物工廠產業也面臨諸多困境:高昂的設備和人工成本、產業鏈不完整導致國際競爭力不足、企業間缺乏合作等問題制約了產業發展。此外,COVID-19疫情更凸顯了遠程監控和管理的重要性,傳統的人工巡檢和數據收集方式已無法滿足現代農業生產的需求。這些問題共同構成了智慧農業解決方案的迫切需求背景,推動了如台灣海博特等公司開發整合物聯網、雲計算和人工智能技術的創新項目。 海博特雲端數據整合分析平台 面對這些挑戰,農業領域亟需一套能夠精確控制生長環境、提高資源利用效率、實現遠程監控和智能管理的系統。現有的植物工廠設備往往需要整套更換,難以與舊有設備兼容,且感測器與攝影系統可能需要不同的操作界面,使用不便。因此,業界需要一種能夠靈活整合各種設備和技術的解決方案,既能提供實時監測和數據分析,又能根據植物生長狀況自動調節環境參數。這種需求不僅存在於台灣,也是全球智慧農業發展的趨勢。通過引入人工智能技術,可以建立更科學化的評量基準,優化生產流程,提高產量和品質,同時降低能源消耗和環境影響。此外,這種智能化的解決方案還能吸引更多年輕人參與農業生產,推動產業升級和可持續發展。總的來說,智慧農業解決方案的需求源於應對氣候變化、提高生產效率、降低成本、實現精準化管理的迫切要求,而這正是像台灣海博特這樣的公司所致力解決的問題。 台灣的植物工廠業者們正面臨著一系列嚴峻的挑戰,這些困難正逐漸侵蝕著他們的競爭力和生存空間。首先,高昂的設備和運營成本成為了他們最大的負擔。每一次電費賬單的到來都像是一次沉重的打擊,迫使他們在保證產品品質和控制成本之間艱難平衡。其次,氣候變遷帶來的不可預測性成為了他們的噩夢。突如其來的極端天氣事件可能在短時間內摧毀他們精心培育的作物,造成巨大的經濟損失。更糟糕的是,他們發現自己在國際市場競爭中日漸處於劣勢。相比之下,國外的大型植物工廠憑藉先進的自動化技術和完善的供應鏈,能夠以更低的成本生產出品質穩定的農產品,這讓台灣的業者們感到前所未有的壓力。 在技術層面上,他們同樣面臨著諸多問題。新舊設備的兼容性問題常常讓他們陷入困境,嘗試整合不同系統時總是遭遇各種技術障礙。缺乏精確的數據分析和預測能力也讓他們在生產決策上舉步維艱,難以準確把握每種作物的最佳生長條件。現有的監測系統提供的數據往往雜亂無章,難以解讀和應用。人力資源方面的挑戰同樣嚴峻,年輕人普遍對農業工作缺乏興趣,導致他們難以招募到具備現代農業技能的員工。即便是現有的員工,也常常因為繁瑣的手動操作和監控工作而感到疲憊不堪。這些問題交織在一起,形成了一個複雜的困境,讓植物工廠業者們感到既困惑又焦慮。他們迫切需要一個能夠全面提升工廠運營效率、降低成本、提高產品競爭力的綜合解決方案,以助他們渡過難關,重新在激烈的市場競爭中站穩腳跟。 在面對植物工廠業者的種種挑戰時,台灣海博特公司展現了卓越的技術創新能力和靈活的客戶導向開發策略。他們深刻理解到,解決方案必須能夠無縫整合現有設備,同時提供高度智能化的管理功能。為此,海博特的研發團隊採取了模組化設計的方法,開發出一套可以靈活配置的IoT(物聯網)系統。這個系統的核心是一個智能控制中樞,能夠與各種感測器和執行設備進行通信。在開發過程中,海博特密切與客戶合作,深入了解他們的具體需求和運營環境。他們甚至派遣工程師駐場,實地觀察植物工廠的日常運作,以確保開發的系統能夠真正解決實際問題。這種深度合作不僅幫助海博特優化了產品設計,還建立了與客戶的緊密關係,為後續的持續改進奠定了基礎。 海博特的創新不僅體現在硬件設計上,更體現在他們開發的智能軟體系統中。這套系統整合了先進的機器學習算法,能夠根據大量歷史數據和實時監測信息,對植物生長狀況進行精確預測和優化控制。為了幫助客戶克服技術障礙,海博特設計了一個直觀易用的用戶界面,即使是非技術背景的操作人員也能輕鬆掌握。此外,他們還提供全面的培訓和技術支持服務,確保客戶能夠充分利用系統的所有功能。在遇到難題時,海博特的技術團隊能夠通過遠程診斷迅速識別問題,並提供解決方案。在一次客戶遇到嚴重設備故障的緊急情況下,海博特的工程師通過系統遠程接入,成功指導客戶進行修復,避免了可能的巨大損失。這種全方位的服務不僅解決了客戶的即時困難,更增強了他們對智能化管理的信心,推動了整個行業向更高效、更可持續的方向發展。 海博特公司開發的智慧農業解決方案不僅為植物工廠帶來了革命性的變革,更為整個農業產業的未來描繪了一幅令人振奮的藍圖。這套系統的優越性體現在多個方面:首先,它實現了對植物生長環境的精準控制,大幅提高了作物產量和品質的穩定性。通過先進的人工智能算法,系統能夠根據歷史數據和實時監測信息,預測並調整最佳生長條件,使得每一株植物都能在最理想的環境中生長。其次,它顯著降低了能源消耗和運營成本,提高了資源利用效率。智能化的管理系統能夠優化用水、用電和養分供應,減少浪費,同時降低人力成本。此外,系統的模組化設計和強大的兼容性,使得它能夠輕鬆整合各種新舊設備,為植物工廠的逐步升級提供了靈活的解決方案。最重要的是,這套系統為農業生產注入了科技感和現代化氛圍,有助於吸引年輕一代加入農業領域,為行業注入新的活力。 展望未來,海博特的智慧農業系統具有廣闊的應用前景和擴展潛力。除了植物工廠,這套系統還可以應用於傳統溫室種植、都市農業、甚至是家庭園藝。在水產養殖領域,相似的技術可以用於監控和優化魚類或蝦類的養殖環境。在食品加工業,類似的智能監控和預測系統可以用於優化生產流程,提高食品安全性。甚至在製藥行業,這種精準控制的環境管理系統也可以應用於藥物研發和生產過程。為了進一步推廣這套系統,海博特可以採取多管齊下的策略。首先,可以與農業院校和研究機構合作,建立示範基地,讓更多人親身體驗智慧農業的優勢。其次,可以開發針對不同規模和類型農業生產的定制化解決方案,擴大產品的適用範圍。再者,可以通過舉辦行業論壇、線上研討會等方式,分享成功案例,提高業界對智慧農業的認知和接受度。最後,還可以探索與政府部門合作,將這套系統納入農業現代化和可持續發展的政策支持範疇,從而在更大範圍內推動智慧農業的普及。通過這些努力,海博特不僅可以擴大自身的市場份額,更能為全球農業的可持續發展做出重要貢獻,真正實現科技賦能農業的願景。