:::

【113年 應用案例】 CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。

需求痛點

日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件/事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。

(1) 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGVAutomated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。

(2) 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。

(3) 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。

(4) 卸貨碼頭區:日月光L!碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。

異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像

日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。

問題情境
問題情境

物件偵測

物件偵測資料來源分成兩個部份: 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。

九大物件
九大物件

顏色辨識

顏色辨識資料來源分成兩個部份: 網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。

動態忽略免除混淆訓練

OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。

動態忽略
動態忽略

AI幫你看

CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。

推薦案例

【導入案例】化身大型AIOT科技遊樂場 海科館華麗轉身好吸睛
化身大型AIOT科技遊樂場 海科館華麗轉身好吸睛

臺灣是一個海洋國家,你去基隆八斗子漁港或潮境公園遊玩時,是否順道去占地48公頃的國立海洋科技博物館探索海洋世界的奧秘呢為了讓更多人親近海洋科技,基隆海科館導入科技服務,將場館化身為一個大型科技遊樂場,讓大小朋友都樂不思蜀,充分發揮「寓教於樂」的功能。 歷經長時間的規劃,北臺灣最大的基隆海洋科技博物館於2014年元月開幕營運,館內以海洋教育科技為主題,號稱擁有全臺最大的IMAX 3D海洋劇場,主題具有獨特性、又擁有新穎的視廳設備,理應成為基隆知名的地標景點。然而,原先的展覽規畫以靜態為主,內容相當專業,與民眾互動不足,曾經前往參觀的遊客也反映展出內容有限且十分無趣,整體消費者體驗評價欠佳。 海科館不滿意的前3項為周邊景點連結弱、展示內容不吸引人、展示內容少 根據海科館的統計數據顯示,海科館遊客結構當地民眾與外來客的比重約為 64,其中外地遊客以北部居多;交通方式以開車與客運方式為主;出遊類型以家族、親子、朋友居多;逗留時間為 1至2 小時。 再深入了解,遊客感到不滿意的前3項分別為周邊景點連結弱、展示內容不吸引人、展示內容少等,館方分析可能的原因包括部分展示內容的呈現方式過於專業,讓民眾看不懂,以及缺發互動體驗的元素,讓參展民眾覺得無趣,停留的時間匆促而短暫。分析遊客的輪廓可以發現,由於基隆科博館主要客源有半數以上來自於當地民眾,外來客必須以開車或大眾運輸方式前來,來一趟並不是那麼容易,因此,場館與展覽的設計必須導入更多的互動性及趣味性,讓本地客願意一來再來,外地客的停留時間也能拉長一點。並透過科技服務將博物館特色凸顯出來。 經由經濟部工業局AI團隊之一中華民國資訊軟體協會引薦,海科館就委託巨鷗科技協助解決場館無法吸引人的問題。 巨鷗科技初步訪談之後發現,許多遊客前往海科館,大多是受到海科館建築外型、周邊牆面所張貼的告示及懸掛的旗幟、或正在舉辦的活動所吸引;而遊客最感興趣的為 3D 海洋劇場,顯示內容以影音、實體景方式呈現較能吸引遊客。 七大AI科技導入 海科館帶動區域觀光人潮 巨鷗科技透過科技服務的導入,將占地48公頃的場域設計成AI語音導覽、尋寶解謎遊戲、AI展物互動活化、AI空間展館互動體驗、AI人流管控、Face AI互動式體驗、AI語音客服系統等7大服務,藉由AIoT物聯網以及雲端科技讓看展變有趣、不僅解決孩童靜態看展無趣的議題,並可提升雙倍學習效率,讓消費者對海科館的印象改觀,大大提升來客意願,也同步拉升區域觀光人潮。 國立海洋科技博物館導入AI語音導覽等七大科技應用服務。 巨鷗科技以改善海科館空間場域優化為目標,透過臺灣北部海濱鳥類特展的展覽背景為雛形,結合包括「人臉」、「肢體」、「人流」三大主軸,從提升功能的面向,來協助改善海科館對AI的應用。 在具體作法上,海科館及巨鷗科技首先針對場域內的特展進行篩選,先避免在已展出的展覽內進行水電工程、管路等相關建置,影響到展覽本身的觀看品質,轉而找出展期未到的場館先行導入,透過展覽本身的特點搭配一系列的科技服務進行導入。 在海科館內臺灣北部海濱鳥類特展施工內容與策展人討論,初步在展館入口處利用Bella X1做迎賓互動說明,接著搭配AI智慧導覽中文英文X1進行講解,搭配趣味性尋寶解謎集章活動-APP X1,讓民眾闖關,後續將鳥類特展內鳥種進行標本活化互動X1、甚至在展覽空間中導入AR之情境X1增添趣味性娛樂,最後在Face AI做人臉之互動測試臉部進行微笑打分數。nbsp 華麗變身後的海科館將成為親子最佳旅遊地點。圖海科館FB粉絲頁 海科館這套AIoT服務未來可延伸運用於各大展覽類博物館,甚至擴及到靜態美術館等地區,依據不同場域特點導入。同時也可透過政府專案及相關計畫推動,幫助農村再生,讓遊客不再只是去農村看看而已,添加趣味互動以擺脫對不同場域的刻板印象,應用服務範圍十分廣泛。

【導入案例】AI嘛會煮咖啡 無人烘豆機靠AI 精準設點與培養忠實客群
AI嘛會煮咖啡! 無人烘豆機靠AI 精準設點與培養忠實客群

你早上來杯咖啡了嗎 臺灣於過去十年以來,逐漸形成一股喝咖啡的文化風潮,隨著AI技術的精進,無人烘豆機也能靠AI精準設點,同時培養忠實客群,我們來看看,這是如何辦到的 根據國際咖啡組織 ICO 調查,國人一年喝掉約 285 億杯咖啡,臺灣咖啡市場規模上看 800 億元,且每年約有 20 成長。 臺灣近十年來,人手一杯的「喝咖啡」文化,已成為流行的代名詞,而「咖啡」甚至以65的高比例當選為國人平日最常選擇的飲品,其中重度咖啡愛好者的族群更願意花費更高的價錢去選購符合自身口味的咖啡豆來享用咖啡。近兩三年來,越來越多無人飲品販賣店於臺灣飲品市場上問市。 無人咖啡飲品店無法快速展店,主要受到兩大問題困擾,一是客流量與機器設點位置的合適性,往往仍需憑藉人力進行評估分析;二是如何精準打入中高階咖啡愛好者市場 AI解決無人烘豆機設點合適性與培養忠實客群兩大難題 為解決上述兩大問題,協助無人烘豆機能迅速打開市場,昇銳電子擬以透過導入AI 人流計數分析與AI 人臉陌生辨識,來針對無人烘豆機的設置地點進行人潮數量計算,且歸類消費者的性別及年齡,以進行更為精準的商情分析;並提供消費者對於烘焙咖啡生豆的多重選擇,期以給予專業的咖啡愛好者更客製化的服務與貼近其需求和個人口味的一包「高品質烘豆」。 自2018年起,無人販賣店的興起,無非是因為業主想減少不斷上漲的租金與人事成本的費用支出,但在店面設點的初期評估,卻仍需花費鐘點人力費以人眼計算客流量,但人非機器,難免會有計算來店消費者與道路上經過人潮的錯誤率,而無法做到精準的即時客流分析,或甚至經過一段試營運後才進行估算是否達到設點的營運效益,以上皆會造成錯失最佳撤掉設點位置的停損時機。 昇銳電子搭配AI人流計數分析和AI人臉陌生辨識,推出無人烘豆機。 昇銳電子搭配AI人流計數分析和AI人臉陌生辨識,與帶來「黑金」風潮的咖啡進行商機結合,並且抓住臺灣眾多咖啡行家喜歡親自至量販店耐心挑選符合自身口味的咖啡生豆與喜愛去高品質的研磨咖啡廳或連鎖咖啡店之消費習慣與特點,故誕生針對咖啡豆產地、品種、烘焙方式等提供選擇的第一台無人咖啡烘豆機之新創概念。 AI烘豆機提升客戶忠誠度與物料管理效率達20 針對無人烘豆機的精進開發,昇銳電子工程師搭載AI NVIDIA 開發平台於TCNNFacenet 的基礎上進行,透過AI 將關於性別及年齡搜集之數萬張的影像資料進行樣本訓練,以針對首次選購咖啡烘豆的消費者也能利用人臉陌生辨識來簡單地歸類,藉此取得消費者的信任並提升使用意願,並進而進行購買資訊紀錄及未來商品購買推薦以產出消費者購買行為分析,便可使業主參照消費者對於不同咖啡生豆的偏好度高低,作為未來物料準備數量之依據,以降低原物料轉運及庫存問題,並提升物料管理效率達20。 再者,業主可透過放置此無人烘豆機於選定之人流匯聚率高的地段內,便能透過攝影機捕捉人潮,並針對機台擺設位置的客源是否充足,進行對於經過人潮數量的計算,進而評估消費者佇足購買機率的高低,並於短時間內分析出是否需要將機台進行移設,並可更容易地瞄準出中高階咖啡愛好者所在的最佳設點位置。 而關於無人烘豆機有專業烘焙模式介面,其針對咖啡生豆的產地來源、品種、烘焙方式(淺中深焙)、入豆與出豆溫度、轉速溫度與目標溫度等跟溫度、風速和秒數相關之選擇,提供消費者多種選項以烘焙出符合自己愛好的客製化精品咖啡豆。而若過程中業者針對機台有要進行改善的需求,工程師能配合調整韌體參數,也能協助與業主的訂單系統進行整合。 服務人員簡述無人烘豆機的操作方式 「黑金」透過AI 可更深入至咖啡廳、科學園區、商業大樓 此一無人烘豆機針對咖啡行家的客群,不僅能設點於中高階咖啡廳,以烘製相較於在量販店購買更為客製化的咖啡豆,更能在製作完成一包咖啡豆時,即時提供給咖啡廳內專業的技術店員協助進行咖啡研磨與手沖,而剩餘的烘豆也能將其帶回家之後自己沖泡與享用。在這之中也為咖啡廳帶來了附加價值,其可更加了解消費客群對於咖啡豆的偏好程度,並能推出更能吸引顧客的飲品促銷活動與進行合適的備料管理。 而除了咖啡廳,無人烘豆機也能透過AI 人流計數分析,精準設點於科學園區與商業大樓裡或附近店面,以提供其有高度飲用咖啡需求的內部員工,於辦公室也能手工沖泡的優質咖啡豆。另外,更能推出實體會員制以隨時發起選購咖啡豆之促銷活動,或不定時提出支付優惠回饋,進而吸引到新客源與培養既有顧客的忠誠度和黏著度。 智慧無人烘豆機的操作介面

【解決方案】優式AI智能割草機器人 搶攻高爾夫藍海市場
優式AI智能割草機器人 搶攻高爾夫藍海市場

一台看似掃地機器人的AI智能割草機器人,在面積達30公頃的高爾夫球場草坪上來回穿梭進行除草工作。這是由國人自主研發與設計的AI智能割草機器人,此種機型搭載全球首創電子圍籬定位技術,可利用高精準定位的GPS功能結合雲端AI計算最割草路徑,已計畫搶攻高爾夫球藍海市場。 這款AI智能割草機器人由成立於2019年的台灣新創公司優式機器人進行研發,優式機器人總經理陳招成曾擔任台灣前5大ODM科技公司的執行副總經理,擅長軟硬整合工作。在他擔任服務型機器人聯盟總召集人時,就深知在少子化、人力漸趨吃緊的情況下,服務型機器人勢必成為高度成長的產業。 新需求》園藝市場規模大 剛性需求殷切 「發展服務型機器人核心技術,一定要找到剛性需求,綜觀歐美國家,人工短缺,然園藝需求增加,園藝工長年短缺7-10」,在此「剛性需求」強烈的情況下,陳招成成立優式機器人公司,第一個產品就是研發AI智能割草機器人。 以國外來說,美國是全球最大的園藝市場,佔全球產值高達30-40,估計約有100萬名園藝工,然近年來皆處於7-10的缺工狀態,遲遲無法改善。主要缺工原因為:人口老化,加上園藝工作靠勞力工作吃重,年輕人不想做。而不像在台灣,歐美國家對於草坪維護十分重視,並明文規定不除草,將觸犯法規予以重罰,因此,AI智能割草機器人的市場發展潛力相當大。 藉由AI多裝置智慧協作割草感測技術的導入,期望減少場務人員整理球場之負擔 優式機器人所開發的AI智能割草機器人已研發至第二代,包括國內大學院校及知名美術館使用最新機型M1,同時也在美國包括一些全球知名的高科技公司,及知名的大學院校等實際場域中運行,正進行後續商務合作的洽談中。 優式機器人表示,目前使用的專業RTK系統,可以將原本GPS定位的誤差從數十公尺縮小到2公分左右,讓機器人在戶外也可以精準的移動。簡單設定邊界後,便能透過APP輕鬆地進行作業。 新應用》導入高爾夫球場 解決人力老化及短缺問題 陳招成進一步說明,國土測繪局是RTK的服務商,RTK將定位點的誤差參考圖提供出來,優式機器人透過4G上網,即可抓取特定位置的定位誤差值。再透過優式機器人的AI演算法,將原本一般GPS 10-20公尺誤差值縮短到2公分。定位好之後,優式機器人再運用六軸加速器定位、陀螺儀、輪子的輪差等感測裝置導入,進行軟硬整合工程,搭配輪子的運動模式和地形的契合,才能達到精準的除草路徑規劃。 這款寬度62公分、長度84公分、高度 46公分,重量只有25公斤的智能割草機器人可以在雲端將割草邊界設定完成,可以透過設定避掉水池與沙坑,用AI演算法自動計算出最佳路徑,一小時可除草面積大約是150坪,電池可以連續使用6小時以上,電池續航力是目前全球最高。 除了一般園藝公司外,在經濟部工業局AI計畫團隊的協助下,將優式機器人的AI智能割草機器人導入高爾夫球場的割草應用。 位於台中市太平區的知名高爾夫球場現有場務人員5人,負責整個球場30公頃的草坪、植栽維護、及其他景觀維護工作。但因場務人員平均年齡高達55歲,且長期無法招募到新的場務人員,針對場務人員的老年化及人力的短缺,希望能尋求AI科技的導入來減緩衝擊,因此藉由AI多裝置智慧協作割草感測技術的導入,期望減少場務人員整理球場之負擔。 新挑戰》因應草種不同 需藉由專家系統克服困難 「這款AI智能割草機器人具備低噪音、低汙染、低人力成本及防水、防盜等配置,在割草的過程中,能透過超音波感測器辨識避開障礙物,並同時保持除草品質,維持美觀一致的割草長度」,陳招成接著表示,高爾夫球最重要的是草紋要漂亮、不能有病蟲害。 根據場勘後發現,高爾夫球場地主要分為果嶺、球道及長草區三大區塊,長草區以現行機器人除草沒有問題,20度以內的斜坡道都能夠克服;球道區的短草只能維持兩公分,草種也不同,需要修改刀盤設計;至於果嶺區的草因為影響到推桿速度,不僅要除草,還要壓草至與地面貼合,草的方向要一致,諸多因素均會影響到果嶺指數,這部分需要更多的研究與測試。 AI智能割草機器人能透過超音波感測器辨識避開障礙物,並同時保持除草品質 AI智慧割草機器人內建攝影鏡頭,可以用來偵測草坪的健康狀態,陳招成表示,未來也將導入專家系統,及早判斷草坪是否有病蟲害或水分足夠與否,將草坪健康數據分析提供給客戶參考,可及早防範與因應,以減少災害損失。 本身也是高爾夫球好手的陳招成表示,台灣高爾夫球發展得很好,然而,受到氣候多雨潮濕、有颱風等天候因素影響,與國外一流球場比較,台灣的高爾夫球場土質偏硬,坑洞較多,若智能割草機器人要普遍導入高爾夫球場仍有許多困難必須克服。但因台灣的困難地形造就很好的試煉場所,一旦台灣能夠克服諸多問題順利導入,就能擴展到海外市場,搶攻新的藍海市場商機。 優式機器人總經理陳招成