:::

【109年 應用案例】 「AI麵包辨識系統」,機器一掃,價格瞬間幫你算好!

轉化AI人臉辨識技術的奇思妙想

隨著人工智慧發展,越來越多行業開始擁抱AI技術,甚至悄悄走入人們生活之中。由於烘焙店多數販售的是新鮮現做的麵包與西點,而現烤麵包通常不會有條碼,必須依賴結帳人員肉眼辨識,並逐一輸入麵包種類與價格,於是從AI人臉辨識技術得到靈感,想像若是能把這樣的人工智慧技術轉換對上百款的麵包作辨識,或許能提升門市結帳效率……。

手作麵包多樣化,樂了顧客,苦了店員!

國內某烘焙屋的麵包品項多達100種以上,且會定期更換或新增商品,讓顧客有多樣化的選擇;但這也讓結帳人員視為一種挑戰。

店家訓練一位結帳人員所需時間為2個月,但正式上線服務後,每個月還是會發生5至10%不等因麵包辨識錯誤而結錯帳的問題,且結帳高峰期通常是下班時期,所以時常造成結帳塞車,結帳人員又會因為緊張而更容易算錯金額。而結帳人員訓練困難且結帳流程不精準的問題,讓業者困擾已久……。

當烘焙遇見人工智慧,迸出智慧零售妙體驗!

在一般的麵包店都是新鮮出爐後先「裸裝販售」,待麵包溫度降為常溫狀態後再進行「包裝販售」,這兩種結帳方式都需結帳人員辨識及記憶價錢才能進行,且櫃台人員需要2個月的教育訓練才能上線結帳,上線後每月還是會有5至10%的錯誤機率。而邁迪烘焙屋麵包品項多達100種以上,對結帳人員著實是一大挑戰!

因雲逵科技有限公司擅長開發iPad POS,且設計的理念就是簡單、方便、好用,讓店家能輕鬆、快速且正確的結帳,所以結合現有的POS系統,再加上AI影像辨識的功能,讓店家能更有效率且精準地完成每一筆交易。

AI麵包辨識模型運作示意圖 (圖片來源-雲逵科技提供)

▲AI麵包辨識模型運作示意圖 (圖片來源-雲逵科技提供)

而執行方式可以簡化為八個步驟,包含:

1.收集數據:至烘焙業者拍攝麵包影像數據。

2.影像標註:影像數據交予木刻思股份有限公司進行人工標註。

3.AI建模及訓練:由木刻思負責AI建模及訓練的調整。

4.iPad POS調整:在建模的同時,POS端將進行前端UI介面的調整,以及後台端與AI model的串接。

5.開始測試:當木刻思以現有數據,達到辨識率95%以上,即正式開始串接測試。

6.實際場景測試:實際移至麵包店拍攝採集數據,實際驗證其影像辨識正確率。

7.規劃實際場景應用附件:當辨識正確率達98%以上,將設計應用於現場結帳之附件,如:遠端拍攝鏡頭及投射光源。

8.正式應用:結合電子發票正式上線。

POS機AI麵包辨識結帳流程:開始辨識-辨識完成-結帳-確定結帳,只需3秒 (圖片來源-雲逵科技提供)

▲POS機AI麵包辨識結帳流程:開始辨識-辨識完成-結帳-確定結帳,只需3秒 (圖片來源-雲逵科技提供)

AI麵包辨識系統,一兼三顧好輕鬆!

加值AI能量後,不但可節省烘焙坊結帳人員事前訓練時間及成本,並減少人員辨識錯誤的成本,亦可加速結帳流程與效率,增加客戶滿意度,後續可推廣至各大零售業,擴增智慧零售的新版圖。

AI加值前後的麵包結帳流程比較圖 (圖片來源-雲逵科技提供)

▲AI加值前後的麵包結帳流程比較圖 (圖片來源-雲逵科技提供)

推薦案例

【解決方案】優式AI智能割草機器人 搶攻高爾夫藍海市場
優式AI智能割草機器人 搶攻高爾夫藍海市場

一台看似掃地機器人的AI智能割草機器人,在面積達30公頃的高爾夫球場草坪上來回穿梭進行除草工作。這是由國人自主研發與設計的AI智能割草機器人,此種機型搭載全球首創電子圍籬定位技術,可利用高精準定位的GPS功能結合雲端AI計算最割草路徑,已計畫搶攻高爾夫球藍海市場。 這款AI智能割草機器人由成立於2019年的台灣新創公司優式機器人進行研發,優式機器人總經理陳招成曾擔任台灣前5大ODM科技公司的執行副總經理,擅長軟硬整合工作。在他擔任服務型機器人聯盟總召集人時,就深知在少子化、人力漸趨吃緊的情況下,服務型機器人勢必成為高度成長的產業。 新需求》園藝市場規模大 剛性需求殷切 「發展服務型機器人核心技術,一定要找到剛性需求,綜觀歐美國家,人工短缺,然園藝需求增加,園藝工長年短缺7-10」,在此「剛性需求」強烈的情況下,陳招成成立優式機器人公司,第一個產品就是研發AI智能割草機器人。 以國外來說,美國是全球最大的園藝市場,佔全球產值高達30-40,估計約有100萬名園藝工,然近年來皆處於7-10的缺工狀態,遲遲無法改善。主要缺工原因為:人口老化,加上園藝工作靠勞力工作吃重,年輕人不想做。而不像在台灣,歐美國家對於草坪維護十分重視,並明文規定不除草,將觸犯法規予以重罰,因此,AI智能割草機器人的市場發展潛力相當大。 藉由AI多裝置智慧協作割草感測技術的導入,期望減少場務人員整理球場之負擔 優式機器人所開發的AI智能割草機器人已研發至第二代,包括國內大學院校及知名美術館使用最新機型M1,同時也在美國包括一些全球知名的高科技公司,及知名的大學院校等實際場域中運行,正進行後續商務合作的洽談中。 優式機器人表示,目前使用的專業RTK系統,可以將原本GPS定位的誤差從數十公尺縮小到2公分左右,讓機器人在戶外也可以精準的移動。簡單設定邊界後,便能透過APP輕鬆地進行作業。 新應用》導入高爾夫球場 解決人力老化及短缺問題 陳招成進一步說明,國土測繪局是RTK的服務商,RTK將定位點的誤差參考圖提供出來,優式機器人透過4G上網,即可抓取特定位置的定位誤差值。再透過優式機器人的AI演算法,將原本一般GPS 10-20公尺誤差值縮短到2公分。定位好之後,優式機器人再運用六軸加速器定位、陀螺儀、輪子的輪差等感測裝置導入,進行軟硬整合工程,搭配輪子的運動模式和地形的契合,才能達到精準的除草路徑規劃。 這款寬度62公分、長度84公分、高度 46公分,重量只有25公斤的智能割草機器人可以在雲端將割草邊界設定完成,可以透過設定避掉水池與沙坑,用AI演算法自動計算出最佳路徑,一小時可除草面積大約是150坪,電池可以連續使用6小時以上,電池續航力是目前全球最高。 除了一般園藝公司外,在經濟部工業局AI計畫團隊的協助下,將優式機器人的AI智能割草機器人導入高爾夫球場的割草應用。 位於台中市太平區的知名高爾夫球場現有場務人員5人,負責整個球場30公頃的草坪、植栽維護、及其他景觀維護工作。但因場務人員平均年齡高達55歲,且長期無法招募到新的場務人員,針對場務人員的老年化及人力的短缺,希望能尋求AI科技的導入來減緩衝擊,因此藉由AI多裝置智慧協作割草感測技術的導入,期望減少場務人員整理球場之負擔。 新挑戰》因應草種不同 需藉由專家系統克服困難 「這款AI智能割草機器人具備低噪音、低汙染、低人力成本及防水、防盜等配置,在割草的過程中,能透過超音波感測器辨識避開障礙物,並同時保持除草品質,維持美觀一致的割草長度」,陳招成接著表示,高爾夫球最重要的是草紋要漂亮、不能有病蟲害。 根據場勘後發現,高爾夫球場地主要分為果嶺、球道及長草區三大區塊,長草區以現行機器人除草沒有問題,20度以內的斜坡道都能夠克服;球道區的短草只能維持兩公分,草種也不同,需要修改刀盤設計;至於果嶺區的草因為影響到推桿速度,不僅要除草,還要壓草至與地面貼合,草的方向要一致,諸多因素均會影響到果嶺指數,這部分需要更多的研究與測試。 AI智能割草機器人能透過超音波感測器辨識避開障礙物,並同時保持除草品質 AI智慧割草機器人內建攝影鏡頭,可以用來偵測草坪的健康狀態,陳招成表示,未來也將導入專家系統,及早判斷草坪是否有病蟲害或水分足夠與否,將草坪健康數據分析提供給客戶參考,可及早防範與因應,以減少災害損失。 本身也是高爾夫球好手的陳招成表示,台灣高爾夫球發展得很好,然而,受到氣候多雨潮濕、有颱風等天候因素影響,與國外一流球場比較,台灣的高爾夫球場土質偏硬,坑洞較多,若智能割草機器人要普遍導入高爾夫球場仍有許多困難必須克服。但因台灣的困難地形造就很好的試煉場所,一旦台灣能夠克服諸多問題順利導入,就能擴展到海外市場,搶攻新的藍海市場商機。 優式機器人總經理陳招成

這是一張圖片。 This is a picture.
以植物生長箱為例 - 依影像建構電子設備程序標準化

近年來,全球氣候變遷和環境問題日益嚴重,對農業生產造成了巨大衝擊。傳統農業高度依賴天氣條件,面臨著作物品質不穩定、產量驟減、病蟲害難以控制等挑戰。特別是在台灣,農業生技業者和農民不斷遭受損失,亟需創新解決方案。同時,台灣植物工廠產業也面臨諸多困境:高昂的設備和人工成本、產業鏈不完整導致國際競爭力不足、企業間缺乏合作等問題制約了產業發展。此外,COVID-19疫情更凸顯了遠程監控和管理的重要性,傳統的人工巡檢和數據收集方式已無法滿足現代農業生產的需求。這些問題共同構成了智慧農業解決方案的迫切需求背景,推動了如台灣海博特等公司開發整合物聯網、雲計算和人工智能技術的創新項目。 海博特雲端數據整合分析平台 面對這些挑戰,農業領域亟需一套能夠精確控制生長環境、提高資源利用效率、實現遠程監控和智能管理的系統。現有的植物工廠設備往往需要整套更換,難以與舊有設備兼容,且感測器與攝影系統可能需要不同的操作界面,使用不便。因此,業界需要一種能夠靈活整合各種設備和技術的解決方案,既能提供實時監測和數據分析,又能根據植物生長狀況自動調節環境參數。這種需求不僅存在於台灣,也是全球智慧農業發展的趨勢。通過引入人工智能技術,可以建立更科學化的評量基準,優化生產流程,提高產量和品質,同時降低能源消耗和環境影響。此外,這種智能化的解決方案還能吸引更多年輕人參與農業生產,推動產業升級和可持續發展。總的來說,智慧農業解決方案的需求源於應對氣候變化、提高生產效率、降低成本、實現精準化管理的迫切要求,而這正是像台灣海博特這樣的公司所致力解決的問題。 台灣的植物工廠業者們正面臨著一系列嚴峻的挑戰,這些困難正逐漸侵蝕著他們的競爭力和生存空間。首先,高昂的設備和運營成本成為了他們最大的負擔。每一次電費賬單的到來都像是一次沉重的打擊,迫使他們在保證產品品質和控制成本之間艱難平衡。其次,氣候變遷帶來的不可預測性成為了他們的噩夢。突如其來的極端天氣事件可能在短時間內摧毀他們精心培育的作物,造成巨大的經濟損失。更糟糕的是,他們發現自己在國際市場競爭中日漸處於劣勢。相比之下,國外的大型植物工廠憑藉先進的自動化技術和完善的供應鏈,能夠以更低的成本生產出品質穩定的農產品,這讓台灣的業者們感到前所未有的壓力。 在技術層面上,他們同樣面臨著諸多問題。新舊設備的兼容性問題常常讓他們陷入困境,嘗試整合不同系統時總是遭遇各種技術障礙。缺乏精確的數據分析和預測能力也讓他們在生產決策上舉步維艱,難以準確把握每種作物的最佳生長條件。現有的監測系統提供的數據往往雜亂無章,難以解讀和應用。人力資源方面的挑戰同樣嚴峻,年輕人普遍對農業工作缺乏興趣,導致他們難以招募到具備現代農業技能的員工。即便是現有的員工,也常常因為繁瑣的手動操作和監控工作而感到疲憊不堪。這些問題交織在一起,形成了一個複雜的困境,讓植物工廠業者們感到既困惑又焦慮。他們迫切需要一個能夠全面提升工廠運營效率、降低成本、提高產品競爭力的綜合解決方案,以助他們渡過難關,重新在激烈的市場競爭中站穩腳跟。 在面對植物工廠業者的種種挑戰時,台灣海博特公司展現了卓越的技術創新能力和靈活的客戶導向開發策略。他們深刻理解到,解決方案必須能夠無縫整合現有設備,同時提供高度智能化的管理功能。為此,海博特的研發團隊採取了模組化設計的方法,開發出一套可以靈活配置的IoT(物聯網)系統。這個系統的核心是一個智能控制中樞,能夠與各種感測器和執行設備進行通信。在開發過程中,海博特密切與客戶合作,深入了解他們的具體需求和運營環境。他們甚至派遣工程師駐場,實地觀察植物工廠的日常運作,以確保開發的系統能夠真正解決實際問題。這種深度合作不僅幫助海博特優化了產品設計,還建立了與客戶的緊密關係,為後續的持續改進奠定了基礎。 海博特的創新不僅體現在硬件設計上,更體現在他們開發的智能軟體系統中。這套系統整合了先進的機器學習算法,能夠根據大量歷史數據和實時監測信息,對植物生長狀況進行精確預測和優化控制。為了幫助客戶克服技術障礙,海博特設計了一個直觀易用的用戶界面,即使是非技術背景的操作人員也能輕鬆掌握。此外,他們還提供全面的培訓和技術支持服務,確保客戶能夠充分利用系統的所有功能。在遇到難題時,海博特的技術團隊能夠通過遠程診斷迅速識別問題,並提供解決方案。在一次客戶遇到嚴重設備故障的緊急情況下,海博特的工程師通過系統遠程接入,成功指導客戶進行修復,避免了可能的巨大損失。這種全方位的服務不僅解決了客戶的即時困難,更增強了他們對智能化管理的信心,推動了整個行業向更高效、更可持續的方向發展。 海博特公司開發的智慧農業解決方案不僅為植物工廠帶來了革命性的變革,更為整個農業產業的未來描繪了一幅令人振奮的藍圖。這套系統的優越性體現在多個方面:首先,它實現了對植物生長環境的精準控制,大幅提高了作物產量和品質的穩定性。通過先進的人工智能算法,系統能夠根據歷史數據和實時監測信息,預測並調整最佳生長條件,使得每一株植物都能在最理想的環境中生長。其次,它顯著降低了能源消耗和運營成本,提高了資源利用效率。智能化的管理系統能夠優化用水、用電和養分供應,減少浪費,同時降低人力成本。此外,系統的模組化設計和強大的兼容性,使得它能夠輕鬆整合各種新舊設備,為植物工廠的逐步升級提供了靈活的解決方案。最重要的是,這套系統為農業生產注入了科技感和現代化氛圍,有助於吸引年輕一代加入農業領域,為行業注入新的活力。 展望未來,海博特的智慧農業系統具有廣闊的應用前景和擴展潛力。除了植物工廠,這套系統還可以應用於傳統溫室種植、都市農業、甚至是家庭園藝。在水產養殖領域,相似的技術可以用於監控和優化魚類或蝦類的養殖環境。在食品加工業,類似的智能監控和預測系統可以用於優化生產流程,提高食品安全性。甚至在製藥行業,這種精準控制的環境管理系統也可以應用於藥物研發和生產過程。為了進一步推廣這套系統,海博特可以採取多管齊下的策略。首先,可以與農業院校和研究機構合作,建立示範基地,讓更多人親身體驗智慧農業的優勢。其次,可以開發針對不同規模和類型農業生產的定制化解決方案,擴大產品的適用範圍。再者,可以通過舉辦行業論壇、線上研討會等方式,分享成功案例,提高業界對智慧農業的認知和接受度。最後,還可以探索與政府部門合作,將這套系統納入農業現代化和可持續發展的政策支持範疇,從而在更大範圍內推動智慧農業的普及。通過這些努力,海博特不僅可以擴大自身的市場份額,更能為全球農業的可持續發展做出重要貢獻,真正實現科技賦能農業的願景。

這是一張圖片。 This is a picture.
CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。 需求痛點 日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。 1 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGV(Automated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。 2 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。 3 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。 4 卸貨碼頭區:日月光L但碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。 異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像 日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。 問題情境 物件偵測 物件偵測資料來源分成兩個部份 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。 九大物件 顏色辨識 顏色辨識資料來源分成兩個部份網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。 動態忽略免除混淆訓練 從OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。 動態忽略 AI幫你看 CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。