:::

【110年 解決方案】 InfuseAI專注打造 PrimeHub MLOps 軟體平台 降低企業導入 AI 技術⾨檻

有鑑於人工智慧(AI)發展迅速,為了加速AI應用落地,InfuseAI打造一站式AI部署平臺軟體PrimeHub,希望能夠降低AI導入門檻,協助企業快速轉型成功。 成立於2018年的InfuseAI工合股份有限公司,由兩位臺灣開源社群資深開發者g0v共同發起人高嘉良和KKTIX創辦人薛良斌共同創立,主要產品是AI部署平臺軟體PrimeHub。

InfuseAI營運長薛良斌分享MLOps落地導入應用

▲InfuseAI營運長薛良斌分享MLOps落地導入應用

InfuseAI營運長薛良斌表示,AI 專案開發是⼀個迭代的過程,在AI產品生命週期從資料蒐集、開發、部署模型到監控等過程中,隱藏許多技術債,導致AI專案週期拉長、成本增加,效益大打折扣。更有甚者,根據統計,資料科學家有65%的工時不是花在模型開發上,AI的實現除了開發外,還包括維運及跨團隊協作等議題。種種因素,均造成AI發展的速度跟不上公司發展需求。

薛良斌指出,AI發展速度跟不上企業需求所產生的問題,可從以下兩方面具體展現:

• AI模型的建置速度:過去需要 1~2 年的時間,才能完成⼀項AI專案。但是隨著企業導入AI,專案數量與AI模型數量都會以倍數增加。

• AI模型部署落地後的營運問題:AI 模型的⽣命週期在部署落地後才開始。隨著資料累積,可以重新訓練 AI 模型以提升效能。但是也因為模型數量成長,⾯臨到營運問題以及運算資源瓶頸。

因此,InfuseAI所研發的產品MLOps平台——PrimeHub,就涵蓋了AI模型的開發、訓練管理,到營運面的部署、監控等流程,透過流暢的⾃動化 AI ⼯作流程,提供企業一站式讓AI能真正落地的平台服務。 PrimeHub 採⽤開放式架構,並整合各種AI開發工具,包括Jupyter Notebook互動式開發環境以及主流深度學習框架,並以Docker Image方式打包,可以提供一鍵快速部署和執行。同時,PrimeHub Apps 彙整第三⽅⼯具,打造 MLOps ⽣態系。

MLOps生態系

換言之,InfuseAI 團隊除持續添加更多 PrimeHub Apps 中的第三方應用服務,也正積極與更多廠商合作,將 AI 模型自動化平台無縫串接至 PrimeHub。同時 InfuseAI 更期待能與更多聚焦於 AI 技術領域的廠商以及 SI 夥伴合作,激發更多 MLOps 平台上的應用,進一步推動規模化的AI應用落地。 成軍三年多來,InfuseAI 的客戶包括台灣人工智慧學校、玉山金控、永豐金控、臺大醫院、奇美醫院等。其中,InfuseAI與台灣⼈⼯智慧學校密切合作,解決各種教學⽅⾯的需求。各分校的助教只需要在 PrimeHub 平台簡單地操作,所有管理⼯作就⾃動完成。學員在 PrimeHub 的⾃助平台建立⼀致的預裝環境,學員可以同時間執⾏深度學習運算,透過容器化隔離,彼此不⼲擾。而助教可根據課程進度,決定需要載入的課程資料。系統會在學員開啟環境時,⾃動載入課程檔案與資料集。既快速⽅便,⼜可節省下載流量。

⽟⼭⾦控於2018 年積極投入AI 開發,並採購 GPU 運算資源。發現多⼈、多專案同時進⾏,需要完善的基礎建設來加速。期望導入管理平台,以協助運算資源管理、資料授權等⼯作。PrimeHub 協助集中控管運算資源,提升使⽤效率。管理者只需要在 UI 介⾯設定各專案資源配額、資料授權,⽤⼾就可以在⾃助平台秒開研發環境。

薛良斌表示,PrimeHub平台希望協助企業AI開發規模化、更快部署模型從數個⼯作天減少到數⼩時內,同時也運用API及APPs來達到⾃動化及最佳化⼯作流程。PrimeHub的收費採年訂閱制,將持續優化平臺環境,也能彈性針對不同客戶提供客製化服務,現階段提供三種解決方案,包括PrimeHub Enterprise Edition 企業版、PrimeHub Deploy 輕量化的模型部署管理⽅案及PrimeHub Community Edition等,提供使用者依據需求選用。

(本文源自於「AI Engineering線上小聚」內容精選整理)

推薦案例

【解決方案】2秒鐘完成結帳動作 Viscovery AI影像辨識助攻智慧零售
1 秒鐘完成結帳動作 Viscovery AI 影像辨識助攻智慧零售

近年來,人工智慧 Artificial Intelligence,簡稱 AI 已逐漸改變各行各業的運作模式,不過,絕大部分的工作仍然是由人類完成,AI 則扮演輔助的角色,因而出現了「AI Copilot」一詞,代表「由 AI 驅動的工具或助理」,旨在協助使用者完成各種任務,提高生產力和效率。 AI Copilot 的概念源自於「副駕駛」這個角色,在飛行中,副駕駛協助主駕駛員完成各項任務,確保飛行安全與效率。其實,工業革命的「機器」就開始有 Copilot 的影子,各種機器在不同領域中扮演「Copilot」的角色,輔助人類完成繁重的體力和重複性工作,大幅提升工廠生產效率,推動經濟快速發展。 隨著運算設備的進步、機器學習、深度學習、影像辨識等技術的突破,AI Copilot 的概念逐漸成形。AI Copilot 的發展標誌著從「機器輔助提升到智慧輔助的轉變」。早期的機器人只能完成預設的重複性工作,而現在的 AI Copilot 則能夠學習和適應新的環境與任務,並在實際應用中不斷優化自身表現。這一轉變不僅改變了人機交互的方式,也為各產業帶來了深遠的影響。 AI Copilot 的應用範圍涵蓋了各個行業,包括:金融、醫療、製造、教育、零售hellip等等,無處不在。 AI Copilot 於零售業的應用:AI 影像辨識結帳 在零售業,AI Copilot 的應用已經開始展現具體成果。 以 Viscovery 的 AI 影像辨識結帳系統為例,這套系統即為 AI Copilot 模式的一種,輔助店員加速結帳,或者輔助消費者簡化自助結帳流程。 nbsp 一般的結帳方式需要店員逐一掃描商品條碼,若是無條碼的商品,如:麵包、餐點,則需店員花時間先用肉眼確認品項,再一個個輸入到 POS 結帳系統中。根據一家連鎖麵包店實測,資深店員從「肉眼辨識」到「輸入一盤 6 顆麵包的商品資訊到結帳系統」的過程,就要 22 秒的時間,新進店員需要的時間可能更多。另外,根據一家日本麵包店業者分享,培訓員工認識、熟悉商品需要 1 至 2 個月的時間。 nbsp 現在有了 AI 影像辨識技術,店員可以把「辨識商品」的步驟交給 AI,由 AI 扮演 Copilot 的角色,1 秒內迅速辨識品項,加快結帳,整體節省 50 的結帳時間,優化顧客購物體驗。而培訓員工辨認麵包的時間成本,也能因此有效縮短。 nbsp 即便是帶有條碼的商品,AI 也可以在一秒內快速辨識多個品項,相比逐個掃條碼的方式,效率更高 nbsp 而有 AI 影像辨識「輔助」的自助結帳系統,則能夠讓消費者在沒有店員幫助的情況下,順利完成購物,省去刷條碼或在螢幕上查找品項的麻煩,提升購物體驗,在缺工、找不到店員的時代,也幫助店家降低營運成本。 nbsp AI 快速辨識多件結帳商品只要一秒鐘 圖片來源:Viscovery 近來,致力研發 AI 影像辨識結帳方案的新創在各國嶄露頭角,目前已知最輕量化的解決方案就在台灣,只要在結帳櫃檯安裝一支 Viscovery 的鏡頭與一台搭載 Viscovery AI 影像辨識軟體的平板,即可與店家既有的 POS 結帳系統串接,馬上啟用。 整合方式多元,有隨插即用的作法,也有與店家 POS 整合的 API 串接方案。 Viscovery AI 影像辨識系統可與店家現有的 POS 系統無痛整合 圖片來源:Viscovery AI 影像辨識結帳的導入實例 目前 Viscovery AI 影像辨識系統已導入台灣連鎖烘焙店、新加坡中式麵店、日本仙台百貨公司商辦超商 micormarket、日本麵包店與蛋糕店hellip等等。超過 700 萬筆交易筆數,都是透過這套 AI 系統完成,辨識超過 4000 萬件商品。這些使用案例展示了 Viscovery AI 影像辨識系統在零售行業的廣泛應用,未來將持續深耕、探索零售及餐飲運用 Vision AI 的各種可能。 nbsp Viscovery AI 影像辨識系統已導入日本、新加坡、台灣,使用於麵包店、蛋糕店、餐廳、便利商店等多個場域 圖片來源:Viscovery

這是一張圖片。 This is a picture.
AI智慧健康預防計畫

赫紀有限公司到「台灣兒童發展早期療育協會台東辦事處」舉辦一場AI故事繪本的互動教學,讓兒童、老師、家長一起進入沉浸式體驗教學。 AI生成兒童繪本教材 AI學習平台 nbsp 近年來台灣社會結構的改變,加上在醫院急診的經驗中,我們常常忽略了青少年所表現出的憂鬱症狀,導致孩子們出現自傷甚至是自殺的悲劇。孩子們憂鬱的產生往往很大部分都來自於學業上的表現,家長擔心孩子未來沒有競爭力,因此給予很多壓力在學業表現不佳的孩子身上。 nbspnbsp 一個家庭兩個孩子,有著相同的基因來源,提供相同的成長資源;我們發現第二個小孩通常在課業上的表現都不盡理想,成績不好,上課無法專心,就連看漫畫、打電玩也都無法有耐心與毅力完成,到底差異點在哪裡,我們一直在探索問題是如何發生helliphellip結果發現原因是幼兒時期對學習力出現障礙而沒有發覺。因後天環境因素導致學習力出現遲緩的孩子,八成以上的家長不會承認,也沒有意願帶孩子診療,主要擔心孩子會被貼上遲緩兒的標籤,因此孩子的學習力從幼兒時期就被迫遲遲了,進入國小國中後課業加重,落後幅度更大,家長生氣,孩子力不從心,家庭爭吵增加了,家長擔心孩子學業跟不上,便開始要求孩子要去補習,如果成效不好,花錢得不到好效果,則再次發生家庭革命,這些事件的不良循環都逐漸造成許多孩子在成長過程中累積了很多負面情緒進而影響健康的種種因子。 其實孩子考不好、學不會、不喜歡學習新事物,甚至產生影響健康的心理病症,背後很大的原因其實是幼兒時期學習遲緩累積造成的。六歲前是學習遲緩治療的黃金時期,若能在黃金時期可以發現與協助輔導,孩子們的學習能力將有機會可以被改善與得到10倍成效目前產業的痛點為以下 1缺乏學習力檢測方式市場缺乏樣本數據庫比對 2傳統家長思維迷思輕中度怕被貼標籤延誤治療 3缺乏治療教材教具治療行繪本和系列課程圈乏 本計畫將研發一個國家人才發展的生根輔助系統,利用 AI 技術發展出影響人一生健康的幼兒學習力檢測系統,陪家長共同守護孩子的「健康從學習力檢測」開始,早期發現、早期治療。在未來,台灣所有的孩子,不論出身,都能在幼兒時期將一生健康扎好根,長大後,孩子都能成為台灣國家發展的有用人才。 nbsp 2、nbsp 計畫內提出之AI應用技術與說明: 「兒童語言能力AI分析模型」。用以對「兒童表達一件事情」的「國語使用狀況」的「量化分析」。 情境:幼教師引導孩童敘述繪本內容。AI工具解析孩童描述繪本內容所使用的語句,並透過統計演算法量化分析孩童使用的語句。 分析指標:以「句型」及「語詞」為分析指標。分析內容包括:句型正確性、語詞多樣性、語詞使用數量、語詞使用正確性。 應用:單一孩童與同儕間語言能力分布的比較分析,可提供幼教師對不同孩子提供更細緻的語言能力教學。 使用技術:中文斷詞(中文分詞)技術、中文詞性標記技術、中文句法規則分析演算法、量化分析演算法。 使用工具:中文斷詞工具、中文詞性標記工具。 nbsp 3、nbsp 預期達成之產業價值: nbsp成立學習力檢測與輔助系統,透過治療型繪本與課程與幼兒園合辦學習力養成基地,讓孩子別停留在起跑點,陪家長守護孩子健康,從檢測學習力開始為目標,以強大樣本數據庫為後盾,提供家長早期發現孩子在學習上的延緩,協助孩子找回學習力。 nbsp 4、nbsp 預期達成之產業效益(經濟效益及未來擴散性、帶動性): 透過本計畫,只要協助遲緩孩子學習力能大幅提升,孩子是國家的主人翁,自然可以幫助國家在人才發展上得到看不到但非常實際的潛在影響力。同時,學習力養成基地的目的,就是要幫孩子找回家長,以增加孩子與家長互動的時間,讓孩子可以拋去單純 3C 的單面向互動變成與家長雙面向互動。這將潛在影響被環境耽誤有潛在能力的孩子再次得到機會發揮。

【解決方案】AI電眼取代人眼 慧演智能運用AI幫製造業做品管
AI電眼取代人眼 慧演智能運用AI幫製造業做品管

因應製造業少量多樣的客戶需求,亟待可以找到從雲端到終端的AI解決方案。慧演智能提供軟硬整合解決方案-BailAI影像檢測解決方案,來協助傳統製造業提升製程效率及產品品質,達到轉型的初步目標。 政府宣示2017年為台灣「AI元年」之後,台灣AI新創公司如春筍般林立,成立於2018年的慧演智能即鎖定智慧製造,提供AI影像分析與流程優化的平台,以深度學習的方式檢測產品的瑕疵和組裝的步驟異常,協助企業建置從終端到雲端的基礎設施,讓工廠生產端可以自動化監控,以提升製程的效率和品質。 熟悉產線品管流程 以AI影像檢測作為創業主軸 慧演智能創辦人暨執行長劉雅雯年紀輕輕,在大學畢業之後即進入製造業,在硬碟零件的塑膠射出製程擔任品管職務,「當時已經在產線上,對於生產機台的產線流程相當熟悉」,她之後轉換跑道擔任行銷企劃、接著又擔任過AI產品經理,在時機成熟之後,劉雅雯決定創業,以製造業的AI影像辨識作為創業主軸。 「企業的困難在於缺乏AI開發團隊,即使有了AI團隊,開發專案要花很多時間,至少6-12個月」深諳市場痛點的劉雅雯表示,平台要解決的問題是提供傳統製造業不需要程式開發背景的員工,也可以自行打造AI模型的平台,從遠端協助產線的故障排除及後續的系統維護作業,來幫助企業節省開發時間及人力成本。 BailAI影像檢測平台使用場景 面對市場上提供AI影像辨識的競爭對手非常多,慧演智能的技術優勢何在劉雅雯表示,現階段許多企業備有AOI光學檢測設備,但AOI光學檢測在應用上的瓶頸是,只能用於產線速度快、數量多的瑕疵檢測,而每回檢測或生產都要重新調整參數。而根據她對產業的了解,受限於AOI設備動輒上百萬元台幣起跳,大部分中小型傳統製造業,並不具備雄厚的財力,但他們又想要做自動化檢測,這就是慧演智能的機會。 劉雅雯接著表示,傳統製造業不可能養一個包括AI工程師、資料工程師、雲端架構師、終端架構工程師等專業人才的技術團隊,而慧演智能擅長於軟硬體整合,企業透過BailAI影像檢測平台,就能輕鬆解決產線上的檢測問題。換言之,客戶只需提供影像或樣品,交由慧演智能訓練模型、部署模型及系統整合,即可輕鬆使用AI技術進行產線流程優化及監測。 參加AI新銳選拔賽 組裝行為影像辨識辨識率達9成以上 舉例而言,某家連接器廠商,技術團隊只有1-2位AI工程師。主要解決的問題是,大部分作業員都在產線上,而品管及高階主管在遠端,公司欲透過遠端監控方式掌握產線實際情況。慧演智能透過工業相機拍攝產線畫面,並將AI影像分析傳送到遠端,主管及品管人員可以透過螢幕來觀察產線組裝有無錯誤,如連接器頭跟線路有沒有接好等問題。 慧演智能的AI影像檢測架在微軟的Azure雲端平台上進行作業,也會透過終端設備,如NVIDIA的邊緣運算設備放置於檢測站周邊,透過雲端到終端的整合解決方案,協助傳統製造業提升產線效能與及早發現問題。現階段慧演智能的客群包括航空、電子周邊、連接器及金屬等相關產業。 組裝產線人體行為辨識組裝流程解決方案,準確率達9成以上 為了實證技術深度,慧演智能參加經濟部工業局2021年AI新銳選拔賽活動,為光寶科技提供「組裝產線人體行為辨識組裝流程」解決方案,透過相機及AI影像辨識的方式辨識產線作業員的有效工時及無效工時,也就是透過影像辨識手的姿勢及位置,來判斷作業員的組裝行為,其精準率可達9成以上。 劉雅雯補充說明,由於電子零組件組裝工序較複雜,多以人力為主,無法以機械手臂取代,因此慧演智能在光寶的組裝站裡,用鏡頭拍下作業員組裝的流程,再針對影片進行演算法的訓練、校正,最終訓練出的模型能直接判斷組裝過程是否出現任何錯誤,以改善整體流程。 導入BailAI影像檢測平台 專案開發時間可望縮短至1個月 成立三年多以來,慧演智能累積不少專案經驗,希望能將專案經驗產品化,劉雅雯指出,將於今2022年完成BailAI影像檢測試用版,客戶可依檢測物件的精細度選擇工業相機、視訊相機,甚至於X光來擷取影像,再透過平台做影像自動標記,慧演智能會提供符合場域的AI應用模型,供客戶使用,也可以在雲端終端做推論,便於製造業上線使用。包括金屬產業、工業電腦的金屬機殼、連接器、電子周邊,機械零件,皆可利用平台進行瑕疵檢測及物件辨識。 現階段慧演智能將持續提升技術能力,累積客戶的經驗完成產品化,同時加速AI檢測落地應用,中期將建置終端雲端基礎設施,將企業AI專案開發時間從6-12個月縮短至1個月,降低企業使用時間及使用門檻。長期目標將鎖定台商聚集較多的東南亞市場,將軟硬整合AI解決方案拓展到海外市場,擴大營運規模。