:::

【109年 應用案例】 「AI麵包辨識系統」,機器一掃,價格瞬間幫你算好!

轉化AI人臉辨識技術的奇思妙想

隨著人工智慧發展,越來越多行業開始擁抱AI技術,甚至悄悄走入人們生活之中。由於烘焙店多數販售的是新鮮現做的麵包與西點,而現烤麵包通常不會有條碼,必須依賴結帳人員肉眼辨識,並逐一輸入麵包種類與價格,於是從AI人臉辨識技術得到靈感,想像若是能把這樣的人工智慧技術轉換對上百款的麵包作辨識,或許能提升門市結帳效率……。

手作麵包多樣化,樂了顧客,苦了店員!

國內某烘焙屋的麵包品項多達100種以上,且會定期更換或新增商品,讓顧客有多樣化的選擇;但這也讓結帳人員視為一種挑戰。

店家訓練一位結帳人員所需時間為2個月,但正式上線服務後,每個月還是會發生5至10%不等因麵包辨識錯誤而結錯帳的問題,且結帳高峰期通常是下班時期,所以時常造成結帳塞車,結帳人員又會因為緊張而更容易算錯金額。而結帳人員訓練困難且結帳流程不精準的問題,讓業者困擾已久……。

當烘焙遇見人工智慧,迸出智慧零售妙體驗!

在一般的麵包店都是新鮮出爐後先「裸裝販售」,待麵包溫度降為常溫狀態後再進行「包裝販售」,這兩種結帳方式都需結帳人員辨識及記憶價錢才能進行,且櫃台人員需要2個月的教育訓練才能上線結帳,上線後每月還是會有5至10%的錯誤機率。而邁迪烘焙屋麵包品項多達100種以上,對結帳人員著實是一大挑戰!

因雲逵科技有限公司擅長開發iPad POS,且設計的理念就是簡單、方便、好用,讓店家能輕鬆、快速且正確的結帳,所以結合現有的POS系統,再加上AI影像辨識的功能,讓店家能更有效率且精準地完成每一筆交易。

AI麵包辨識模型運作示意圖 (圖片來源-雲逵科技提供)

▲AI麵包辨識模型運作示意圖 (圖片來源-雲逵科技提供)

而執行方式可以簡化為八個步驟,包含:

1.收集數據:至烘焙業者拍攝麵包影像數據。

2.影像標註:影像數據交予木刻思股份有限公司進行人工標註。

3.AI建模及訓練:由木刻思負責AI建模及訓練的調整。

4.iPad POS調整:在建模的同時,POS端將進行前端UI介面的調整,以及後台端與AI model的串接。

5.開始測試:當木刻思以現有數據,達到辨識率95%以上,即正式開始串接測試。

6.實際場景測試:實際移至麵包店拍攝採集數據,實際驗證其影像辨識正確率。

7.規劃實際場景應用附件:當辨識正確率達98%以上,將設計應用於現場結帳之附件,如:遠端拍攝鏡頭及投射光源。

8.正式應用:結合電子發票正式上線。

POS機AI麵包辨識結帳流程:開始辨識-辨識完成-結帳-確定結帳,只需3秒 (圖片來源-雲逵科技提供)

▲POS機AI麵包辨識結帳流程:開始辨識-辨識完成-結帳-確定結帳,只需3秒 (圖片來源-雲逵科技提供)

AI麵包辨識系統,一兼三顧好輕鬆!

加值AI能量後,不但可節省烘焙坊結帳人員事前訓練時間及成本,並減少人員辨識錯誤的成本,亦可加速結帳流程與效率,增加客戶滿意度,後續可推廣至各大零售業,擴增智慧零售的新版圖。

AI加值前後的麵包結帳流程比較圖 (圖片來源-雲逵科技提供)

▲AI加值前後的麵包結帳流程比較圖 (圖片來源-雲逵科技提供)

推薦案例

這是一張圖片。 This is a picture.
AI走入公益,食(實)物銀行也有時尚科技

社團法人台灣食物銀行聯合會以下簡稱本會以食物援助、貧困救濟、減少食物浪費、建構無飢網絡為組織宗旨,在台灣各地已有55個食物銀行據點,每日收集來自全台各地量販店、中盤商、零售商、製造商、甚至善心人士捐贈的愛心物資,也會搶救即將被丟棄的可食用物資,進行妥善調配並配送至需求的愛心戶手上,幫助在地弱勢邊緣戶。 但各據點皆需大量人力與志工以傳統聯繫方式處理食物銀行日常事務,聯絡非營利組織與捐贈機構,為據點收到物資捐贈後,再分配給有需要的家庭戶或個人。在物資管理上缺乏數位化與整合資訊,可能產生物資資源分配不均問題。 倉儲轉運中心與迷你食物銀行 分配弱勢物資 本次場域驗證單位社團法人高雄市慈善團體聯合總會食物銀行據點之一,以下簡稱高慈總 於109年6月24日正式啟用台灣首座「食物銀行-倉儲轉運中心」佔地200坪,提高食物物資再分配、運用之效益、妥善存放及食物物資管理,至今已搶救近二百噸蔬果續食,服務一百多個團體、逾5萬戶弱勢家庭受惠,持續服務19家迷你食物銀行,將於高雄多個行政區陸續落成,分配食物物資給超過10萬人次弱勢家庭。 高慈總「食物銀行-倉儲轉運中心」於高雄大社區 照片來源 社團法人高雄市慈善團體聯合總會 人力與食物物資管理的挑戰 面對大量經濟弱勢家庭的需求,「食物銀行-倉儲轉運中心」的管理顯得格外重要。進貨時需進行分類整理、汰廢、入帳等繁瑣的工作,出貨時則需參照社工員的食物物資需求做配置建議。這些工作都需要依靠人工判斷及經驗累積。而參與的志工多為高齡人士,體力有限,而倉儲工作需耗費大量體力,志工的招募困難重重。倘若有大批食物物資進庫,在調配上會耗費空間與人力整理、盤點,並同時擔憂食物物資是否能有效的被運用及周轉。也顯示出食物銀行服務逐漸擴大規模,但人力與物資管理系統無法隨之配合。 同時食物銀行物資來自各界之捐贈,故類別多樣且效期、規格、數量也均不相同。迷你食物銀行的志工夥伴,多數也為高齡人士,但卻需執行個案服務、食物物資管理配置、物資資源開發等多重職責,有時也需向物資領用者說明並接受即期、大量特殊性的物資,如成人接受嬰兒奶粉。 「食物銀行-倉儲轉運中心」物資盤點需要皆仰賴人力 迷你食物銀行志工具多重職責 照片來源社團法人台灣食物銀行聯合會 報廢物資減少60 物資轉遞速度增加80 為精進物資管理並達到物資有效利用,並解決人力短缺等問題,在本次場域實證案導入「食物銀行倉儲物資募集AI自動預警需求判讀系統」,第一部分為建構分類模型之前置作業,建置以及蒐集場域倉儲資訊,進行AI建模訓練,將過往場域倉儲資訊收集建置成資料庫,使AI可進行預處理、分類等工作。同時視其物資種類之相依狀況作為特徵值,導入演算法中進行運算建模,再依收集之資料進行重新訓練,最終進行場域驗證並針對經常性五大類物資進行數據整理,以建立數據資料所需之訓練及測試資料集,第二部分以演算法之RNN技術建構分類模型;進一步利用強化學習建構食物銀行倉儲管理機制,使分類完善之受贈物資如白米、沖泡飲品、麵條、泡麵、罐頭等可以根據儲位指派原則自動指派儲位。 AI服務系統服務流程與說明 資料來源社團法人台灣食物銀行聯合會 在AI預判下,可優化物資轉遞速度及物資調配,有效精準配對物資捐贈並降低捐贈歷程的損耗,增加物資分配正確性,提高媒合服務率即捐贈成功率,降低錯誤物資造成人力物力浪費,即時監控食物物資的庫存,確保操作者能夠迅速回應需求,有效提供物資援助。 以AI系統的導入,加上數據智慧化建置,協助倉儲轉運中心的運作,可爭取更多時間分配捐贈物資使用。導入加速社福團體數位化服務推展,完善照顧整體社會弱勢群組之需求。 使用系統進行物資分配調度 照片來源 社團法人高雄市慈善團體聯合總會 透過本次的場域驗證後,未來可推廣至食物銀行其他服務據點導入AI系統,也可與更多非營利組織、公益團體、慈善團體等夥伴合作,擴大「食物銀行倉儲物資募集AI自動預警需求判讀系統」應用範圍如醫療用品配送,幫助更多組織更智慧化地管理和分發,減少物資的浪費,以提高社會福祉。

這是一張圖片。 This is a picture.
CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。 需求痛點 日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。 1 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGV(Automated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。 2 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。 3 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。 4 卸貨碼頭區:日月光L但碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。 異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像 日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。 問題情境 物件偵測 物件偵測資料來源分成兩個部份 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。 九大物件 顏色辨識 顏色辨識資料來源分成兩個部份網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。 動態忽略免除混淆訓練 從OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。 動態忽略 AI幫你看 CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。

這是一張圖片。 This is a picture.
測試座接觸元件 AI 智能瑕疵檢測

在 5G、AIOT、汽車電子等下游發展迅速,全產業鏈有望受益於此消費市場。在產品需求動能逐漸增加的情況之下,提高生產效率與降低作業成本成為最重要的課題。為符合客戶各封裝產品類型的需求,穎崴科技一直致力於研發高度客製化測試座,但衍伸的作業痛點則是無法大批量與機台全自動化的作業,部分作業仍需依賴人工執行。 在本案 2021 年時測試座探針部分是委外製造,對現行與未來的大量需求下工時、成本、供給、品質是穎崴需面臨的課題。nbsp因探針的體積較小且材質屬於金屬類型,在現行人力目檢下需花上較多的時間調整焦距、亮度等以確保能看得清晰並判斷,而判斷標準會因人而異,容易因主觀意識或人員目檢疲勞產生誤判、作業疏失,導致不良品未檢出、流入客戶端手中,使客戶使用本公司的測試座產生誤判結果,導致客戶產品功能失效等問題,進而影響本公司的商譽。 本公司在接觸元件檢測良率為 9995,看似高良率,但以一個品檢人員平均一天能檢測 1 萬根針,不良品就有 5 根針,在僅 3 公分長寬的測試座上約有 1 千根針,只要有一根不良針可能導致客戶端測試不良。因現有作業模式為人力目檢,當外在因子若為人員疲勞,人員作業疏失,人員非量化判定即有可能造成不良品流出,因此接觸元件的品質必須嚴格把關。 nbsp曾尋求以光學檢測Rule-based進行外觀品質控管,但接觸元件材質為金屬製,對光線會產生射散、背景雜訊干涉、背景刮痕、材質等因素可能造成誤判,因而找到在 AI 技術方面的資服業者來解決我們的檢測難處。 開發 AOI 專用線掃設備 nbsp為了達成本公司 IC 測試座內動輒數千上萬支探針檢測需求,若以傳統面型取像與逐針取像,勢必因取像速度慢無法達到快速檢測以及節約人力的目標。針對此點,資服業者提出可試用 AOI 專用線掃模組方案,以 X 軸 63mm 為面寬,往復掃描測試座上的所有探針,經測試可一次掃描 89 支探針如下圖,大幅提升未來 AOI 機台的檢測效率。nbsp本案將進行上述創新的概念驗證POC,重點於線掃描設備的開發,針對本公司所提供的正常與異常探針進行取像、學習、訓練,先以逐針取像,訓練初步 AI 模型為驗證目標,以達初步認可。 本案客製化開發的線掃描取像模組 未來理想取像結果示意圖 以單一 AI 技術方案解決量檢測需求 nbsp統一以 AI DL CNN 學習方式,取代現行 Rule based 需逐一定義瑕疵,為滿足磨耗的量測需求與缺損異物的外觀瑕疵檢測需求,如機台同時採用採量測檢測兩套技術,除了成本增加外,亦影響檢測速度,則資服業者建議以線掃描設備取像,其解析度足以由 AI 同時判定外觀瑕疵及以大小圓點判斷針頂磨耗狀況,詳如下圖。 以線掃描像素方式,呈現針頂磨耗情形 nbsp依此 AI 檢測技術能符合穎崴的量測與檢測兩項需求,不僅在未來探針檢測上帶來更多的效益,也在 AI 技術方面帶來創新主軸。 改變人檢方式,提升工作效率與產品品質 經以上述硬軟雙劍合璧後線掃描硬體AI 軟體模式訓練,成功挑戰了 AOI 新興檢測應用,經本案 AI 落地 POC 驗證後,包含客製化線掃描模組及初步 AI 模型開發、驗證,計畫明年正式開發 AOI 機台,並導入 IC 測試座生產線。 未來展望 IC 測試座上游探針業者及下游 IC 廠使用者對 AOI 檢測機台均有需求,上游可確保探針出廠品質,下游使用者則可利用本機台定期檢測手中諸多 IC 測試座使用狀況,對未來需求勢必殷切,故本計畫 AOI 機台對 IC 測試產業於可見的未來必將造成極為正面的影響。