首頁 > 書法

線下零售要怎麼搭建AI自動結賬服務?

作者:由 51CTO 發表于 書法日期:2022-05-19

kindle主頁的書怎麼刪除

譯者:仇凱

客戶體驗是線上零售的重要優勢,無需排隊、沒有延遲、採購便捷。但根據Forrester研究報告,由於人們希望在購買前充分了解產品,或只是不喜歡等待商品運輸的過程,美國72%的零售消費仍然依靠實體店面。

線下零售要怎麼搭建AI自動結賬服務?

目前,無人售貨的創意方案在亞馬遜無人便利店(Amazon Go)、樂購(Tesco)、沃爾瑪(Walmart)等場所得到了落地,透過計算機視覺技術實現自動結賬是無人售貨的成功案例。但是,一些店主想要建立全新的線下門店渠道來開展他們的業務,而這就需要一個整合的軟體基礎架構,並涉及開發和財務方面的問題。

在本文中,我們將分析實體店如何透過計算機視覺系統實現無人售貨。我們將分析其工作原理,自動結賬的選擇,以及現有挑戰。

一、用於實體零售的計算機視覺自動結賬系統

大多數店內操作,如貨架管理、結賬或產品稱重,都需要人工監督。人員生產力是零售商的基本績效指標,也極易成為店內操作的瓶頸,同時也是客戶感到厭煩的主要因素。

也就是說,排隊結賬是客戶和零售商雙方共同的痛點。此外,除了排隊,實際的人力成本也是財務的繁重負擔。那麼,計算機視覺如何解決這些問題呢?

計算機視覺(Computer vision,CV)是一種人工智慧技術,它使機器能夠從影象中提取有價值的資訊。計算機視覺的核心是模仿人類的視覺。類似於眼睛,計算機視覺依賴於攝像頭感測器捕捉環境資訊。然後,一個底層神經網路(類似大腦)將識別商品、它們在貨架中的位置,或者其他特別屬性(例如將百事可樂罐與胡椒博士(美國的一種汽水飲料)罐區分開)。

這是我們瞭解計算機視覺如何適應實體零售任務的基礎,因為它可以識別位於貨架中的商品。這些商品可以放在貨架上,也可以由顧客攜帶。這讓我們無需使用條碼掃描、收銀機操作或自助結賬機來完成自動結賬任務。

儘管計算機視覺在複雜性和預算方面的實現存在顯著差異,但有兩種常見的場景可以展示計算機視覺用於自動化零售的方式。因此,首先讓我們看看如何構建全店自動化。

二、人工智慧驅動的自動結賬:全店自動化

自動結賬有許多不同的名字:“無收銀員”、“即拿即走”、“免結賬”等。在亞馬遜、樂購甚至沃爾瑪的購物體驗中,在此類商店購物時系統會檢查商品,並在商品隨顧客離開商店時自動結賬。這個簡單的過程就是它的基本工作場景。

購物環節開始。像亞馬遜這樣的商店透過旋轉門掃描二維碼啟動購物。此時,系統會將亞馬遜使用者資料和數字錢包與實際進入商店的顧客進行匹配。

人員檢測。這一步是透過計算機視覺攝像頭完成的對人和物體的識別和跟蹤。簡單來說,攝像頭會識別顧客的身份,一旦有商品被顧客從貨架上取下來,系統就會將其放入虛擬購物車中。一些商店使用數以百計的攝像頭全方位覆蓋並監控商店的所有區域。

商品識別。一旦顧客從貨架上取下商品並隨身攜帶,相機就會捕捉到這個動作。在將影片中的商品影象與零售商資料庫中的實際商品進行匹配後,商品將放入虛擬購物車中。

結賬。商品採購結束後顧客可能會離開商店。當顧客離開攝像頭覆蓋的區域時,計算機視覺系統就會將其視為購物結束。這將觸發系統計算商品總金額,並從顧客的數字錢包中扣除相應的金額。

從顧客的角度來看,這樣的系統代表了與線上商店相似的購物體驗,特別是不需要排隊結賬。進入商店,找到你想要的商品,取下,然後離開。但是,為了給客戶提供完全的自主權,並覆蓋所有的應用場景,我們需要在技術上解決大量的問題。那麼,自動結賬有什麼複雜之處呢?

三、建立人工智慧的無人售貨商店,挑戰何在?

顧客行為是無法預測的,而我們將為數十人面對數千種商品的購買行為進行檢查並提供自動結賬服務,這就給計算機視覺系統帶來了諸多挑戰:

1。持續追蹤顧客購買行為

當顧客進入商店時,系統應該能夠沿著顧客的購物路線持續追蹤其購買行為。我們需要知道是同一位顧客在商店的不同地方取走了商品。在擁擠的商店中,持續追蹤顧客會變得很困難。因為不允許使用人臉識別,模型就應該透過人的外表來識別身份。那麼,如果有人脫下外套,或者肩上扛著孩子,又會怎樣呢?

為了實現持續追蹤,我們需要為攝像頭提供100%的區域覆蓋以檢測跨越不同區域的顧客。攝像頭要放置在不同的角度,此外還需要感測器來反饋它們的準確位置,這樣我們就可以使用這些資料更準確地追蹤物體。

2。解決“誰拿走啥”的問題

除了顧客,還有商品的問題。顧客在購物時並不是一直走直線路線,他們可能會移動商品,聞聞氣味再放回去,然後去另一個貨架。尤其是當一個貨架上有多位顧客時,系統模型很難識別是哪位顧客取走了商品,以及顧客是否真的想要購買取走的商品。

亞馬遜透過部署人體姿態檢測系統和人體行為檢測系統來分析顧客的行為意圖。這基本上是人工智慧與計算機視覺結合的另一種方式。它的作用是測量顧客的位置和運動,預測顧客取走了什麼商品,以及該商品是否被購買。

這解決了貨架上有多個顧客的問題,且在相機被遮擋時,也有助於識別是哪位顧客取走了哪些商品。

3。識別相似的商品

此外,我們還需要處理商品包裝相似的問題。有些商品的外觀差異很小,這使得系統模型很難獲取商品的所有細節,尤其是當畫面中有障礙物,或者商品在快速移動時。我們可以透過訓練模型並使用具有更高解析度和幀速率的攝像頭來識別細節以解決這個問題。

雖然使用自動結賬看起來優勢很多,但這種系統異常複雜。對一家技術優先的公司來說可能不是問題,但對於普通零售商來說,這種自動化帶來的收益恐怕會被人工智慧的成本負擔削弱。這就是為什麼採用基於計算機視覺的部分自動化可能更契合普通零售商的場景需求。

四、自動售貨機商店的部分自動化

我們可以在店內或其他室內外位置放置自動售貨機,這就可以很好地解決追蹤全店所帶來的問題。自動售貨機可以用帶有玻璃門的貨架或配備計算機視覺攝像頭的普通冰箱來執行購買流程。透過安裝二維碼掃描器,我們可以將結賬流程最小化到單個冰箱的位置。因此,這個設想的流程也很簡單:

購物環節開始。一旦有人接近並開啟冰箱,購物環節就開始了。如果冰箱門是關閉的,可以透過移動應用程式掃描二維碼來開始購物行為。在普通貨架的場景中,攝像頭可以追蹤從貨架中取下的商品以啟動購物環節。

建立虛擬購物車。當顧客掃描二維碼時,系統就會收到為該客戶建立購物車的訊號。

商品識別。攝像頭可以安裝在自動售貨機的內部或外部。內部攝像頭需要追蹤取出/放回的商品。外部攝像頭需要追蹤開啟冰箱的操作,就像使用普通貨架一樣。兩種型別的攝像頭都可以捕獲商品並將其放入購物車。

由於顧客可能會檢查多個商品並將商品從一側移動至另一側,因此計算機視覺攝像頭還可以追蹤貨架旁的顧客。這將幫助我們驗證購買的是同一位顧客,而非站在附近的另一位顧客。

商品驗證。當商品被取走時,系統會將商品的影象與資料庫中的影象進行比對並獲取商品價格。此外,我們可以在庫存管理系統中自動更新商品數量。

編輯購物清單。一旦商品被取走,系統會將其傳送到顧客智慧手機中的購物車或展示在冰箱的顯示面板上。此時,顧客可以修改購物清單,然後進行付款。

結賬。在移動應用程式和掃描二維碼的場景中,關閉冰箱可能是完成購買並從數字錢包中扣款的觸發條件。但是,這裡也可能安裝一個POS終端以允許信用卡支付。至此,購物完成,顧客就可以離開商店了。

線下零售要怎麼搭建AI自動結賬服務?

儘管它看起來是自動結賬系統相對較弱的替代品,但自動售貨機可以輕鬆擴充套件以實現整個商店的自動化。這在客戶體驗方面略有不同,且僅需要較少的開發工作和預算。

模組自動化的概念可以應用於許多場景。除了超市和雜貨店,計算機視覺售貨服務也可以安裝在食品服務場所或咖啡店。

五、食品免結賬服務

餐廳、咖啡廳和食堂經常使用自助餐服務系統,例如餐具櫃,顧客可以從中選擇盛裝好的菜餚。顧客將盤子放在托盤上,然後系統需要檢查他們的訂單,這可能就是計算機視覺資訊服務處理的。

位於後端的機器學習模型可以被訓練為能夠識別放置在托盤上的盤子和其他商品以啟動結賬流程。這個想法可以透過攝像頭來設計成一種結賬服務,其中攝像頭負責掃描訂單。實際支付可以透過普通的POS終端或使用移動應用程式和數字錢包完成。

無收銀員操作的概念在星巴克發揮到了極致。透過使用亞馬遜的系統,星巴克成為第一家即拿即走咖啡店。客戶可以透過移動應用程式下訂單,然後來店裡喝咖啡,就像亞馬遜無人售貨商店那樣進行結賬。然而,開展計算機視覺專案需要具備專業知識,具體來說,需要資料科學和機器學習的專業知識。

所以,現在讓我們來聊聊基於計算機視覺的自動化結賬,你需要了解什麼。

六、如何處理基於

人工智慧的結賬流程?

根據經驗,建立用於零售自動化的計算機視覺系統需要很多步驟。我們將專注於基於智慧冰箱的零售領域,因為這是最易於接受和用途最廣泛的售賣方式。

1。收集需求

首先,我們需要詳細瞭解相關的商業案例:

首選的零售自動化方法。配備智慧冰箱或其他型別的自動售貨機可能需要對商店全域性進行少量改造,在改造的同時需要保持易於擴充套件的需求。全面的商店自動化主要需要改變場地佈局,以及需要類似旋轉門這樣的額外硬體,這對大多數店主來說是重要的成本負擔。

店鋪規模。自動售貨機的安裝數量需要涵蓋商店的所有庫存並滿足商品多樣性的需求。因此,店鋪規模將決定你需要多少臺自動售貨機,以及部分智慧冰箱在店鋪內的佈局。

需要識別的商品數量。與其他機器學習專案一樣,計算機視覺系統需要經過訓練才能識別商品。一個冰箱可能包含20到50種不同的商品,所以我們應該考慮這些數字,因為它將決定需要多長時間來訓練計算機視覺系統。

現有的基礎設施。在大多數情況下,實體店鋪在庫存管理、銷售點和財務之間缺乏足夠的資源整合。但是,計算機視覺系統將需要訪問商店資料來自動更新銷售資料和商品庫存。因此,在考慮該專案的需求時,檢查現有基礎設施是另一個需要評估的因素。

此外,假設單個冰箱可以包含35件商品,我們也需要關注這些數字。

2。資料收集

計算機視覺是一種人工智慧技術。這意味著,我們需要資料對其訓練才能識別商品。這些資料用於模型訓練,以識別貨架中的不同商品,以及識別顧客及其取走的商品。

為商品識別收集資料的最佳方式是在不同角度和光線條件下將每個商品記錄在影片中。將這些影片按商品進行分類,以確保系統能夠自動對貨架中的商品進行標記並形成對應的標籤。通常建議在收集資料時,儘可能接近真實使用者的觀察方式。

建立了自動結賬的工作模型後,我們將需要每秒60幀影象資訊。這是確保模型快速執行的必要條件。幀率越高,影象越平滑,我們可以從中提取的細節越多。

3。模型訓練

下一步是訓練。一旦我們收集到所有的影片記錄,機器學習專家將為模型訓練做好準備。這個過程可以分為兩個任務。

(1)準備資料

意味著我們需要將所有影片幀分割成單獨的影象,並標記我們需要檢測的商品。簡而言之,我們從一分鐘長的影片中提取60張照片,並在目標物件周圍繪製邊界。

(2)選擇演算法

演算法是一種數學模型,它從給定的資料中學習圖案以進行預測。對於物件識別等任務,有現成的工作演算法可用於構建模型。所以我們這裡的任務是選擇一個合適的演算法,並將我們的資料傳遞給它。

為了獲得較高的識別準確性,訓練過程可能要持續數週時間。

4。模型再訓練

如果在模型訓練的過程中新增或調換了任何商品,就需要重新訓練模型。這是因為預測結果會因資料輸入的變化而發生改變。這意味著商店每次新增新商品並將它們放入基於計算機視覺的智慧冰箱銷售時,我們都需要為模型啟動一個新的訓練階段來學習新商品。

在這種情況下,如果之前商品中沒有任何品牌薯片,我們就需要重新訓練以識別影象上的品牌包裝。不過,一旦我們在冰箱中安裝攝像頭,這就會變得很容易,因為我們可以使用實時影像來進行備註並再次啟動訓練。

5。必要的基礎設施

商店中現有的基礎設施通常是管理庫存的伺服器,並透過POS終端記錄銷售情況。要建立機器學習模型,我們需要新增幾個元件:

攝像頭:用來記錄和傳輸視覺資訊。

影片處理單元:可以是影片卡或單板計算機,例如Nvidia Jetson,其中包括針對計算機視覺需求最佳化過的GPU。

二維碼:這張紙貼在旋轉門或智慧冰箱上,顧客透過掃描此二維碼來識別身份並啟動購物流程。

模型伺服器:當我們談論實時影片處理時,在商店部署硬體伺服器可以確保穩定的結果輸出。最基本的,當顧客從冰箱裡取商品時,系統的執行無需引起顧客的注意,這樣的硬體配置才能快速響應並處理顧客的購買行為。

因為每個單元之間都有資料流進行互動,所有這些元件都應相互連線。至於攝像頭,我們需要確保商店有快速且穩定的頻寬。由於攝像頭會實時處理影片資料流,因此模型需要在沒有網路延遲的情況下執行。另一方面,客戶會期望自動售貨機快速對自身行為做出反應,而這將取決於模型接受和處理資料的速度。

——Daniil Liadov Python工程師

6。隱私問題

零售商和顧客可能都會關注隱私問題。由於計算機視覺旨在檢測和跟蹤影片中的物件,因此記錄和儲存此類資料可能會違反某些國家/地區的隱私法律。

不過,美國的商店使用監控攝像頭通常是合法的。只要是使用隨機ID跟蹤顧客,並且僅以完成結賬任務為目的,就不需要使用人臉識別一類的技術。即使攝像頭捕捉到人臉資訊,也可以使用AI技術對其進行模糊處理以保障顧客的隱私權。

七、AI自助結賬適用於所有零售商嗎?

在所有的系統中,自動結賬似乎是一件燒錢且複雜的事情,但顧客還是很願意使用更方便的結賬方式。2021年零售客戶體驗報告指出,60%的消費者會選擇自助結賬而不是透過收銀員。

因此,自動售貨機對於零售行業來說可能是價效比較高的選擇,因為它的成本適當,又有很多好處。此外,由於機器學習模型的靈活性,可以定製此類系統以滿足特殊零售商的特殊需求。基本上,任何型別的商品都可以透過適當的訓練來進行商品識別。因此,便利店並非唯一可從計算機視覺應用中獲得收益的零售模式。