助力客戶輕松構建現代生成式AI應用

北(bei)京2023年(nian)8月1日 /美通社/ -- 亞馬遜云科技宣布推出Amazon OpenSearch Serverless向量引擎預覽版。該向量引擎在Amazon OpenSearch Serverless中提供了一種(zhong)簡單、可擴展(zhan)、高性能(neng)的(de)相似性搜索功能(neng)，讓用(yong)(yong)戶能(neng)夠輕松(song)構建由現代化(hua)機(ji)器(qi)學(xue)習（ML）增強的(de)搜索體(ti)驗和生成式AI應用(yong)(yong)程序，無需管理底層向量數據庫基礎設施。

向量嵌入助力機器學習增強的搜索和生成式AI的應用

所(suo)有行業(ye)的(de)企業(ye)都在(zai)迅(xun)速采用生成(cheng)(cheng)式(shi)AI，因為它能夠(gou)處理龐大的(de)數(shu)據(ju)集、生成(cheng)(cheng)自(zi)動化(hua)內容，并提供媲美(mei)人類(lei)的(de)交互(hu)式(shi)響應(ying)(ying)。通過(guo)集成(cheng)(cheng)聊天(tian)機器人、問答(da)系(xi)統(tong)和個性(xing)化(hua)推薦等先進的(de)對(dui)話生成(cheng)(cheng)式(shi)AI應(ying)(ying)用程(cheng)序，客戶(hu)正在(zai)想方設法(fa)徹底變革最終用戶(hu)體(ti)驗以(yi)及與數(shu)字(zi)平臺的(de)交互(hu)。這些對(dui)話應(ying)(ying)用程(cheng)序讓用戶(hu)能夠(gou)用自(zi)然語言進行搜(sou)索和查詢，并通過(guo)理解語義、用戶(hu)意圖和查詢上下文，生成(cheng)(cheng)酷似人類(lei)的(de)響應(ying)(ying)。

機器學習增強的(de)搜索(suo)應(ying)用(yong)(yong)和(he)(he)(he)生成式AI的(de)應(ying)用(yong)(yong)程序(xu)(xu)都(dou)需要(yao)使用(yong)(yong)向(xiang)(xiang)(xiang)量(liang)嵌(qian)(qian)入(ru)，向(xiang)(xiang)(xiang)量(liang)嵌(qian)(qian)入(ru)作為文本、圖像、音(yin)頻和(he)(he)(he)視頻數(shu)(shu)(shu)據(ju)(ju)的(de)數(shu)(shu)(shu)字表示，可以(yi)用(yong)(yong)來(lai)生成動態的(de)相(xiang)關內容(rong)。向(xiang)(xiang)(xiang)量(liang)嵌(qian)(qian)入(ru)基于(yu)(yu)用(yong)(yong)戶(hu)(hu)私有數(shu)(shu)(shu)據(ju)(ju)進行訓練，代表信息的(de)語義和(he)(he)(he)上(shang)下文屬性(xing)。理(li)想情(qing)況下，這(zhe)些(xie)嵌(qian)(qian)入(ru)可以(yi)就(jiu)近存儲和(he)(he)(he)管理(li)，如接近現(xian)有的(de)搜索(suo)引(yin)(yin)擎或數(shu)(shu)(shu)據(ju)(ju)庫等特定領域(yu)數(shu)(shu)(shu)據(ju)(ju)集(ji)。由此，企業(ye)能夠通過(guo)處理(li)用(yong)(yong)戶(hu)(hu)查詢(xun)找到最(zui)近的(de)向(xiang)(xiang)(xiang)量(liang)，并將它(ta)們(men)與其他元數(shu)(shu)(shu)據(ju)(ju)結(jie)合，從而(er)集(ji)成搜索(suo)結(jie)果。這(zhe)一過(guo)程完(wan)全無需依賴(lai)外部數(shu)(shu)(shu)據(ju)(ju)源或其它(ta)應(ying)用(yong)(yong)程序(xu)(xu)。客戶(hu)(hu)希望向(xiang)(xiang)(xiang)量(liang)數(shu)(shu)(shu)據(ju)(ju)庫是易于(yu)(yu)構建(jian)的(de)，且(qie)便于(yu)(yu)從原型設計快速進入(ru)到生產環境，這(zhe)樣他們(men)就(jiu)可以(yi)將精(jing)力集(ji)中在創(chuang)建(jian)差異化應(ying)用(yong)(yong)程序(xu)(xu)上(shang)。Amazon OpenSearch Serverless向(xiang)(xiang)(xiang)量(liang)引(yin)(yin)擎擴展了Amazon OpenSearch的(de)搜索(suo)能力，使用(yong)(yong)戶(hu)(hu)能夠實時存儲、搜索(suo)和(he)(he)(he)追溯數(shu)(shu)(shu)十億向(xiang)(xiang)(xiang)量(liang)嵌(qian)(qian)入(ru)，并精(jing)確進行相(xiang)似性(xing)匹配和(he)(he)(he)語義搜索(suo)，無需考慮底(di)層基礎設施。

探索向量引擎功能

構建于Amazon OpenSearch Serverless的向量引擎天然具備魯棒性。使用向量引擎，用戶不必擔心后端基礎設施的選型、調優和擴展問題。向量引擎可自動調整資源，來適應不斷變化的工作負載模式和需求，從而提供始終如一的快速性能和適當規模。即便向量數量從原型設計期間的數千個猛增至生產環境中的數億個，向量引擎也可以無縫擴展，無需重新索引或重新加載數據來擴展基礎設施。此外，向量引擎為索引和工作負載搜索提供了單獨的計算資源，讓用戶可以實時無縫地獲取、更新和刪除向量，同時確保用戶查詢性能絲毫不受影響。所有數據都長久地存儲在Amazon Simple Storage Service（Amazon S3）中，因此用戶可以獲得與Amazon S3相同的數據持久性保證（11個9，即(ji)99.999999999%）。盡管(guan)目(mu)前還處于預覽(lan)階(jie)段(duan)，但向量引(yin)擎是(shi)為(wei)生產環境工作負載設計(ji)的，具有應對可用區中斷(duan)和基礎設施故(gu)障的冗余機(ji)制(zhi)。

Amazon OpenSearch Serverless向量引擎由開源OpenSearch項目中的k近鄰（kNN）搜索功能提供支持，該功能能夠提供可靠而精確的結果。現今，許多客戶在托管集群中使用OpenSearch kNN搜索，以便在應用程序中提供語義搜索和個性化推薦。向量引擎的用戶體驗與Serverless環境一樣簡單易用。向量引擎支持歐氏距離、余弦距離和點積等流行的距離指標，可容納16000個維度，因而非常適合支持各種基礎模型及其他AI/ML模型。用戶還可以存儲各種數據的不同字段，例如元數據中的數字、布爾值、日期、關鍵字和地理位置，以及包含描述性信息的文本等，來為存儲的向量添加更多上下文信息。多種類型數據的合并降低了復雜性，提升了可維護性，并且避免了數據重復、版本兼容性難題和許可問題，有效地簡化了應用程序棧。向量引擎支持相同的OpenSearch開源套件API，讓用戶可以充分利用其豐富的查詢功能，例如全文搜索、高級過濾、聚合、地理空間查詢、嵌套查詢，以加快數據檢索和增強搜索結果。以要求查找距離用戶15英里以內的結果的用例為例，向量引擎可以在單個查詢中完成這項任務，而不需要維護兩個不同系統，并利用應用邏輯將結果合并。通過集成LangChain、Amazon Bedrock和Amazon SageMaker，用戶可以輕松地將首選(xuan)機器學習和AI系統與向(xiang)量(liang)引擎集成。

向(xiang)量(liang)引擎支(zhi)持(chi)不(bu)同領域的(de)(de)廣泛用(yong)(yong)例，包括圖像(xiang)搜(sou)(sou)(sou)索(suo)(suo)(suo)(suo)(suo)、文檔搜(sou)(sou)(sou)索(suo)(suo)(suo)(suo)(suo)、音樂檢索(suo)(suo)(suo)(suo)(suo)、產品推薦、視(shi)頻搜(sou)(sou)(sou)索(suo)(suo)(suo)(suo)(suo)、基于位置(zhi)的(de)(de)搜(sou)(sou)(sou)索(suo)(suo)(suo)(suo)(suo)、欺詐檢測以及異常檢測。亞馬遜云科技預(yu)測，將詞匯(hui)搜(sou)(sou)(sou)索(suo)(suo)(suo)(suo)(suo)方法與(yu)(yu)先進(jin)的(de)(de)機器(qi)學習和生成式(shi)AI功(gong)能結(jie)(jie)合(he)的(de)(de)混合(he)搜(sou)(sou)(sou)索(suo)(suo)(suo)(suo)(suo)將會日益流行(xing)。例如，當用(yong)(yong)戶在(zai)(zai)電(dian)子商務網站上搜(sou)(sou)(sou)索(suo)(suo)(suo)(suo)(suo)“紅色襯衫”時(shi)，語(yu)義搜(sou)(sou)(sou)索(suo)(suo)(suo)(suo)(suo)通過檢索(suo)(suo)(suo)(suo)(suo)所有紅色來擴大(da)搜(sou)(sou)(sou)索(suo)(suo)(suo)(suo)(suo)范圍，同時(shi)在(zai)(zai)詞法（BM25算法）搜(sou)(sou)(sou)索(suo)(suo)(suo)(suo)(suo)上實(shi)現(xian)調(diao)優和邏(luo)輯(ji)增強。利用(yong)(yong)Amazon OpenSearch過濾(lv)功(gong)能，企業可以為(wei)用(yong)(yong)戶提供(gong)基于尺寸、品牌、價(jia)格范圍和附(fu)近商店(dian)等信(xin)息(xi)來優化搜(sou)(sou)(sou)索(suo)(suo)(suo)(suo)(suo)選項(xiang)，從而進(jin)一(yi)步增強搜(sou)(sou)(sou)索(suo)(suo)(suo)(suo)(suo)結(jie)(jie)果的(de)(de)相關(guan)性，以便打造更個性化、更精準的(de)(de)體(ti)驗(yan)。向(xiang)量(liang)引擎支(zhi)持(chi)的(de)(de)混合(he)搜(sou)(sou)(sou)索(suo)(suo)(suo)(suo)(suo)使得(de)用(yong)(yong)戶能夠在(zai)(zai)單(dan)個查詢(xun)調(diao)用(yong)(yong)中查詢(xun)向(xiang)量(liang)嵌入、元數據和描述性信(xin)息(xi)，從而在(zai)(zai)不(bu)構建復雜(za)應用(yong)(yong)程序(xu)代碼(ma)的(de)(de)情(qing)況下，輕松地提供(gong)更準確的(de)(de)，與(yu)(yu)上下文相關(guan)的(de)(de)搜(sou)(sou)(sou)索(suo)(suo)(suo)(suo)(suo)結(jie)(jie)果。

從預覽到正式可用

亞馬遜云(yun)科(ke)技近日(ri)宣布推出向(xiang)量引擎的預覽版，用(yong)戶可以立即(ji)開(kai)始試用(yong)。

在向量引(yin)擎(qing)正式(shi)可(ke)用(yong)(yong)之前(qian)，亞馬(ma)遜(xun)云(yun)科(ke)技(ji)(ji)計(ji)劃提供兩(liang)項(xiang)(xiang)功(gong)能(neng)(neng)，降低(di)客(ke)戶(hu)首個(ge)集(ji)合的成本(ben)。第(di)一項(xiang)(xiang)功(gong)能(neng)(neng)是新的開發-測試選(xuan)項(xiang)(xiang)，它(ta)使(shi)用(yong)(yong)戶(hu)能(neng)(neng)夠在沒(mei)有備份(fen)或(huo)副本(ben)的情(qing)況下啟動(dong)集(ji)合，從而將入門(men)成本(ben)降低(di)50%。向量引(yin)擎(qing)仍然提供持久性保證(zheng)，因為它(ta)將所有數(shu)據(ju)保存在Amazon S3中。第(di)二項(xiang)(xiang)功(gong)能(neng)(neng)是在初(chu)始階段配置0.5 OCU（OpenSearch計(ji)算(suan)單位）資源，資源將根據(ju)用(yong)(yong)戶(hu)的實際工作負載(zai)來擴展；如(ru)果(guo)初(chu)始工作負載(zai)的規模是數(shu)萬到數(shu)十萬個(ge)向量（取決于維度數(shu)量），用(yong)(yong)戶(hu)則(ze)可(ke)以進一步(bu)降低(di)成本(ben)。除了這兩(liang)項(xiang)(xiang)功(gong)能(neng)(neng)外，亞馬(ma)遜(xun)云(yun)科(ke)技(ji)(ji)將把支持用(yong)(yong)戶(hu)首個(ge)集(ji)合所需的最低(di)OCU從每小時(shi)4個(ge)降至每小時(shi)1個(ge)。

亞(ya)馬(ma)遜云科技還在(zai)開發一些(xie)新功能，在(zai)未(wei)來(lai)幾(ji)個月，將會幫助(zhu)用(yong)戶實(shi)現工作負載暫停(ting)與恢復，這項新功能對向量(liang)引(yin)擎十分有用(yong)，因為其中許多用(yong)例(li)不需(xu)要(yao)持續索引(yin)數(shu)據(ju)。

最后，亞馬遜云(yun)科技持續(xu)致力于(yu)優化(hua)向量圖的性能(neng)和(he)內存使(shi)用，包(bao)括改進緩存和(he)合并等功能(neng)。

在(zai)亞馬遜(xun)云科(ke)技致力于降低用(yong)戶成本的同(tong)時(shi)，亞馬遜(xun)云科(ke)技將(jiang)提供1400 OCU小時(shi)/每月的免費向量集合，直到(dao)開(kai)發(fa)-測試選(xuan)項宣布可(ke)用(yong)為(wei)止。

Amazon OpenSearch Serverless向量引擎預覽(lan)版現已在(zai)全球八個地(di)區可(ke)用：美國東(dong)部（俄亥俄州）、美國東(dong)部（弗吉尼亞(ya)州北(bei)部）、美國西部（俄勒岡州）、亞(ya)太地(di)區（新加坡）、亞(ya)太地(di)區（悉尼）、亞(ya)太地(di)區（東(dong)京）、歐洲（法蘭克福）和(he)歐洲（愛爾蘭）。