:::

【113年 應用案例】 CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。

需求痛點

日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件/事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。

(1) 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGVAutomated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。

(2) 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。

(3) 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。

(4) 卸貨碼頭區:日月光L!碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。

異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像

日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。

問題情境
問題情境

物件偵測

物件偵測資料來源分成兩個部份: 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。

九大物件
九大物件

顏色辨識

顏色辨識資料來源分成兩個部份: 網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。

動態忽略免除混淆訓練

OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。

動態忽略
動態忽略

AI幫你看

CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。

推薦案例

這是一張圖片。 This is a picture.
AI走入公益,食(實)物銀行也有時尚科技

社團法人台灣食物銀行聯合會以下簡稱本會以食物援助、貧困救濟、減少食物浪費、建構無飢網絡為組織宗旨,在台灣各地已有55個食物銀行據點,每日收集來自全台各地量販店、中盤商、零售商、製造商、甚至善心人士捐贈的愛心物資,也會搶救即將被丟棄的可食用物資,進行妥善調配並配送至需求的愛心戶手上,幫助在地弱勢邊緣戶。 但各據點皆需大量人力與志工以傳統聯繫方式處理食物銀行日常事務,聯絡非營利組織與捐贈機構,為據點收到物資捐贈後,再分配給有需要的家庭戶或個人。在物資管理上缺乏數位化與整合資訊,可能產生物資資源分配不均問題。 倉儲轉運中心與迷你食物銀行 分配弱勢物資 本次場域驗證單位社團法人高雄市慈善團體聯合總會食物銀行據點之一,以下簡稱高慈總 於109年6月24日正式啟用台灣首座「食物銀行-倉儲轉運中心」佔地200坪,提高食物物資再分配、運用之效益、妥善存放及食物物資管理,至今已搶救近二百噸蔬果續食,服務一百多個團體、逾5萬戶弱勢家庭受惠,持續服務19家迷你食物銀行,將於高雄多個行政區陸續落成,分配食物物資給超過10萬人次弱勢家庭。 高慈總「食物銀行-倉儲轉運中心」於高雄大社區 照片來源 社團法人高雄市慈善團體聯合總會 人力與食物物資管理的挑戰 面對大量經濟弱勢家庭的需求,「食物銀行-倉儲轉運中心」的管理顯得格外重要。進貨時需進行分類整理、汰廢、入帳等繁瑣的工作,出貨時則需參照社工員的食物物資需求做配置建議。這些工作都需要依靠人工判斷及經驗累積。而參與的志工多為高齡人士,體力有限,而倉儲工作需耗費大量體力,志工的招募困難重重。倘若有大批食物物資進庫,在調配上會耗費空間與人力整理、盤點,並同時擔憂食物物資是否能有效的被運用及周轉。也顯示出食物銀行服務逐漸擴大規模,但人力與物資管理系統無法隨之配合。 同時食物銀行物資來自各界之捐贈,故類別多樣且效期、規格、數量也均不相同。迷你食物銀行的志工夥伴,多數也為高齡人士,但卻需執行個案服務、食物物資管理配置、物資資源開發等多重職責,有時也需向物資領用者說明並接受即期、大量特殊性的物資,如成人接受嬰兒奶粉。 「食物銀行-倉儲轉運中心」物資盤點需要皆仰賴人力 迷你食物銀行志工具多重職責 照片來源社團法人台灣食物銀行聯合會 報廢物資減少60 物資轉遞速度增加80 為精進物資管理並達到物資有效利用,並解決人力短缺等問題,在本次場域實證案導入「食物銀行倉儲物資募集AI自動預警需求判讀系統」,第一部分為建構分類模型之前置作業,建置以及蒐集場域倉儲資訊,進行AI建模訓練,將過往場域倉儲資訊收集建置成資料庫,使AI可進行預處理、分類等工作。同時視其物資種類之相依狀況作為特徵值,導入演算法中進行運算建模,再依收集之資料進行重新訓練,最終進行場域驗證並針對經常性五大類物資進行數據整理,以建立數據資料所需之訓練及測試資料集,第二部分以演算法之RNN技術建構分類模型;進一步利用強化學習建構食物銀行倉儲管理機制,使分類完善之受贈物資如白米、沖泡飲品、麵條、泡麵、罐頭等可以根據儲位指派原則自動指派儲位。 AI服務系統服務流程與說明 資料來源社團法人台灣食物銀行聯合會 在AI預判下,可優化物資轉遞速度及物資調配,有效精準配對物資捐贈並降低捐贈歷程的損耗,增加物資分配正確性,提高媒合服務率即捐贈成功率,降低錯誤物資造成人力物力浪費,即時監控食物物資的庫存,確保操作者能夠迅速回應需求,有效提供物資援助。 以AI系統的導入,加上數據智慧化建置,協助倉儲轉運中心的運作,可爭取更多時間分配捐贈物資使用。導入加速社福團體數位化服務推展,完善照顧整體社會弱勢群組之需求。 使用系統進行物資分配調度 照片來源 社團法人高雄市慈善團體聯合總會 透過本次的場域驗證後,未來可推廣至食物銀行其他服務據點導入AI系統,也可與更多非營利組織、公益團體、慈善團體等夥伴合作,擴大「食物銀行倉儲物資募集AI自動預警需求判讀系統」應用範圍如醫療用品配送,幫助更多組織更智慧化地管理和分發,減少物資的浪費,以提高社會福祉。

【解決方案】連聯合國都買單 悠由數據應用運用農業數據搶攻全球商機
連聯合國都買單! 悠由數據應用運用農業數據搶攻全球商機

近2,000個在田間蹲點的日子,讓悠由數據應用公司成為台灣在農業數據領域的佼佼者,對於農作物產量、產期與價格的全盤掌握,更讓它做到能與聯合國合作,服務農地面積在短短不到3年,從24公頃擴展至超過6000公頃,飆漲250倍。對於悠由數據應用創辦人兼總經理吳君孝而言,因應全球環保趨勢,成為氣候科技X綠色經濟的數據公司,並服務全球市場,是他創業的終極目標。 工程師出身的吳君孝,在2010年進入資策會,成為涵養他深厚技術與資料科學分析實力的重要沃土,讓他練就一身功夫,得以大展拳腳。「當時,我在做資料分析工程的工作,會內幾乎所有的數據相關資料都會匯集到我這邊,加上那時執行過室內栽培箱,要種菜、種香菇,因此,農業結合數據分析就此埋下創業的種子」。 吳君孝自2016年起,就常常到農場內「蹲點」,跟農民、農改場人員聊天、交換情報,系統性地大量交換資訊,讓吳君孝的農業Know-How快速建立。 堅實的數據分析技術能量 連聯合國都買單 2017年,他離開資策會自行創業,並於2019年創立悠由數據應用公司,目前許多農企業皆是他的客戶,服務的栽種面積從24公頃快速攀升至逾6,000公頃, 2022年可望超過7,000公頃。客戶遍及海外,包括日本、中美洲市場,甚至聯合國下轄機構-世界農民組織,都使用悠由數據支持的「悠由農作物演算系統」。 悠由數據應用公司究竟是如何做到連聯合國機構都買單 悠由數據應用建置的「悠由農作物演算系統」,準確預測產期產量與價格。 首先,由於吳君孝對農業數據的精準掌握,悠由數據應用的客戶不見得要用到感測器Sensor等硬體設備,「感測器成本高,若購買便宜的設備,反而蒐集一大堆雜訊或錯誤數據,完全派不上用場」。吳君孝接著說,蒐集數據不一定要使用感測器,透過我們的數據解決方案可以更直接有效的解決問題。 例如,悠由數據應用的產品之一-悠由金錢報農產價格Linebot,係2020年與LINE合作,蒐集產地、批發、終端價格長達10年以上的數據,由悠由數據自主研發AI演算法,讓系統自主學習農產品交易價格,更以大數據與人工智慧分析進行價格預測分析,協助採購商降低交易風險,讓數據不止於生產端,更擴大應用至農產供應鏈。 以香蕉價格來說,預測價格的準確率從原本70拉高至998。吳君孝指出,不管採購商或農民,對於價格都十分敏感,現在透過悠由金錢報服務,無論是採購商或農民,都能很精準了解農產品價格波動情況。悠由數據也能針對預測作物生長情況、產量、價格預估模型等,向客戶做出最佳的決策建議。目前價格預測可達28種農作物。 精準預估產期及價格波動 悠由數據靠數據分析做出差異化服務 悠由數據應用公司所提供的「悠由農作物演算系統」內建「參數庫」,通常會搜集200~300種參數,不光是溫度、濕度等比較直觀的數據,還會依作物生理的特性去切分。透過有效動態數據的演算法,可以精準估算農作物何時會開花、何時能收成,產量是多少等。如青花菜產期預測準確率為0-4天,開花期預測今年實際使用上是0天,與現場開花時間完全吻合。而在動態的計算當中7天內都是合理範圍,悠由數據的誤差值平均在2-4 天,大多數作物產期準確率均在80以上。 透過有效動態數據演算法,全球超過120種作物可精準預估產期產量及價格。 透過有效動態數據的演算法,可以設定預估產量多少,協助在生產端做調整,悠由數據應用的客戶多以外銷的水果作物為主,如鳳梨、香蕉、芭樂、芒果、文旦、鳳梨釋迦、小番茄、洋香瓜、西瓜、玉荷包,荷蘭豆、毛豆等,尤其是毛豆,佔台灣外銷第一,種植面積達400多公頃。全球120多種作物、超過600個品種都可以適用此套系統。 台灣農業生產同質性高,容易造成一窩蜂搶種,導致價格崩跌,悠由數據應用要幫助客戶做出差異化,因此,吳君孝將公司定位在精緻的數位顧問,所採取的策略是慎選客戶,重質不重量。他分析,台灣的農業客戶著重的是如何提升良率,甚至將良率分級,規格品質均佳,走精緻化的高階外銷市場;國外客戶重視的是如何提升單位產量,國內外的操作方式有別。 除了農作水果外,悠由數據應用也將服務觸角延伸至漁業,包括虱目魚、金目鱸、白蝦等,均使用同一套系統,將各種跟魚蝦生長有關的參數建立起來,何時下料、何時收成,產量多少等,藉此預測產期、產量及價格。 悠由數據應用善用數據力量,創造智慧農業奇蹟。 因應公司的高速發展,悠由數據應用於2021年引進創投資金,進行人員擴充與業務推展。吳君孝表示,因應全球2050年淨零碳排趨勢,未來也計畫將協助客戶在土壤中種碳,有效將碳保留在土地上,同時引介客戶對接碳交易平台,與客戶共創環保商機。 吳君孝表示,剛開始創業時就將公司定位為全球化公司,因此,與國際合作的方案將不斷推出。而成為氣候科技X綠色經濟的數據公司服務全球,這是吳君孝對自己的期許及公司的長遠目標。 悠由數據應用創辦人兼總經理吳君孝

【導入案例】挺進智慧物流50 新竹物流醫材配送班表超高效率
挺進智慧物流5.0 新竹物流醫材配送班表超高效率

傳統物流公司加上AI技術之後,在運送效率提升及運輸成本下降等效益大大提升,尤其是醫材轉運更涉及醫院及病患的服務時效及權益,透過智慧物流的建置,可為醫材業者節省投入建構GDP倉、配多達千萬元之成本。 國內重要物流領導廠商-新竹物流HCT擁有3,500輛車隊、6萬坪倉儲,提供物流、商流、金流、資訊流、流通、倉儲、加工之客製化物流解決方案。每日貨件處理件數達58萬件,最大處理能力每日可達90萬件,轉運效能的提升對於新竹物流而言,至關重要。 醫院醫材運送 需優化現有作業流程與提升系統化、智慧化 尤其是醫院醫材的運送,也面臨到難題。醫材業者需要針對客戶不同產品需求、不同溫層需求、不同配送時效等因素,透過多家物流業者進行出貨與物流作業,高度依賴作業人員的經驗與細心管制,無論是產品出貨過程與實際物流配送過程,需要環環相扣,若有任何人工失誤與錯誤,都會影響醫院與病患的服務時效與權益,因此各家業者與政府及醫院等,都致力於優化現有作業流程與提升系統化、自動化與智慧化程度,以有效降低服務過程中造成的失誤及成本損失。 新竹物流導入AI之前的配送流程。 現行在醫院需求端已有相關業者配合政府推動相關標準化平台作業,透過供應端業者的資料協同作業,改善產品出貨正確性與作業時效,提升需求端的作業品質與管理效益;同時,部分業者也投入企業內部作業流程標準化與系統化,提升業者營運效能與品質。 在貨運物流端方面,物流業者的倉庫出貨人員需要耗費人工進行管控不同的物流出貨作業安排,若因常常接到緊急任務通知,要出貨到醫療院所,往往需要依賴小型區域性物流業者來提供客製化配送服務,除配送時效提升外,並無法導入整合性的資訊化服務。 新上路的GDP醫材法規規範運銷品質,也就是醫材供應商必須進行GDP合規認證,必須導入符合GDP法令規範之倉儲與物流服務業者,如此一來,區域性小型公司將被淘汰,因此,新竹物流透過經濟部工業局的AI輔導計畫案協助,除延伸既有GDP符合法令的倉儲物流服務外,將進一步利用相關數據整合與最佳化AI技術,協助醫材業者簡化改善物流配送最佳化作業。 複雜的物流難題 運用Simulated AnnealingSA演算法求解 為能滿足新的「醫療器材優良運銷準則」中對於醫療器材優良運銷系統建構的要求,新竹物流除了積極導入新式物流車,更將導入人工智慧中數學最佳化技術,以協助公司在每日全國營業據點以及轉運站進行智慧班次排程規劃,期望以最佳化的車班進行醫材在營業據點間的對開,或是區域間的轉運,以提高醫材在運銷過程中的效率。 目前醫材在新竹物流的轉運過程中,使用可分離式拖車頭與貨櫃。每個營業所及轉運站由於區位與幾何設計不同,以及人員數量不同,單位時間內的吞吐量也有差異;再加上每天的貨況大小、目的地皆不相同,面對無法確定且需求不同的變化,拖車頭及貨櫃的派遣狀況便隨之改變。 在此情況下,新竹物流僅能根據以往的經驗來進行各個衛星所之發車班表,並根據此班表視每日不同變化之貨物需求量進行調整。 因為是根據經驗法則進行排班,所以,班表往往不能兼顧全盤的變化與考量,使得目前發車班表仍然存在著可以改善的空間。。 貨物遞送規劃本質上為一NP-Hard難題,因此難以用傳統的解析解法,新竹物流結合奇點無限公司採用Simulated AnnealingSA演算法進行求解。 新竹物流導入的新物流服務為「GDP櫃班次規劃」。所謂的班次規劃,指的是根據未來對於站所間醫材貨件的預估量,進行站所間貨櫃車班的班表規劃,目的是讓醫材能夠如期如質抵達,並且讓新竹物流在場站作業、車輛數、行駛里程得到最高的效益。 新竹物流導入AI最佳化班次規劃,從其起點至終點間建構出一條最有效率的運送路線。 新竹物流導入「最佳化班次規劃」服務 降低5運輸成本 導入方式是利用雲端軟體服務,由新竹物流定期輸入站所間醫材貨件之「交互件數表」至「最佳化班次規劃」服務後,設定好演算參數即可產生GDP櫃班次表。同時發展新竹物流醫材班表系統,使新竹物流醫材運務單位能透過交互件數表編制適合班表。在相同服務水準的前提下,預估可降低運輸成本5,為醫材業者節省下建構GDP倉儲、配輸成本達千萬元。 醫材由於其對於衛生、溫度的要求,以及其易碎性等特色,因此運輸與轉運的時間越少越好,越少時間暴露在外,則醫材配曝險程度越低,然而由於仍須考量物流效率與成本。AI將每個需要運送的貨物,從其起點至終點間建構出一條最有效率的路線,即可有效率地完成每日的運務作業。 因應未來產業物流高度發展需求,其中配送與轉運AI最佳化將是關鍵議題,透過本計畫將成立專案推動組織,配置AI技術、IT與流程領域人才,累積落地經驗後,逐步擴大AI實際應用場域,全面優化轉型新竹物流的營運體系,並結盟AIOT與各領域AI夥伴加速與擴大效益之達成。