Ìwé

Kini awọn apoti isura infomesonu fekito, bawo ni wọn ṣe n ṣiṣẹ ati ọja ti o pọju

Ibi ipamọ data fekito jẹ iru data data ti o tọju data bi awọn onisẹpo-giga, eyiti o jẹ awọn aṣoju mathematiki ti awọn ẹya tabi awọn abuda. 

Awọn olutọpa wọnyi jẹ ipilẹṣẹ nigbagbogbo nipa lilo diẹ ninu iru iṣẹ ifibọ si data aise, gẹgẹbi ọrọ, awọn aworan, ohun, fidio, ati awọn omiiran.

Awọn apoti isura infomesonu Vector le jẹ definite gẹgẹbi ohun elo ti o ṣe atọka ati tọju awọn ifibọ fekito fun imupadabọ ni iyara ati wiwa ibajọra, pẹlu awọn ẹya bii sisẹ metadata ati iwọn petele.

Iye akoko kika: 9 iṣẹju

Dagba Investor Anfani

Ni awọn ọsẹ aipẹ, ilosoke ninu iwulo oludokoowo ni awọn apoti isura infomesonu fekito. Lati ibẹrẹ ti 2023 a ti ṣe akiyesi pe:

Jẹ ki a wo ni awọn alaye diẹ sii kini awọn infomesonu fekito jẹ.

Vectors bi data asoju

Awọn apoti isura infomesonu Vector gbarale pupọ lori ifisinu fekito, iru aṣoju data ti o gbe laarin rẹ alaye atunmọ to ṣe pataki fun AI lati ni oye ati ṣetọju iranti igba pipẹ lati fa lori nigbati o ba n ṣe awọn iṣẹ ṣiṣe eka. 

Awọn ifibọ Vector

Awọn ifibọ Vector dabi maapu, ṣugbọn dipo fifihan wa nibiti awọn nkan wa ni agbaye, wọn fihan wa nibiti awọn nkan wa ninu nkan ti a pe ni aaye fekito. Aaye Vector jẹ iru ibi-iṣere nla kan nibiti ohun gbogbo ni aaye rẹ lati ṣere. Fojuinu pe o ni ẹgbẹ awọn ẹranko: ologbo, aja kan, ẹiyẹ ati ẹja kan. A le ṣẹda ifisinu fekito fun aworan kọọkan nipa fifun ni ipo pataki lori ibi-iṣere. Ologbo le wa ni igun kan, aja ni apa keji. Ẹiyẹ naa le wa ni ọrun ati pe ẹja le wa ninu adagun. Ibi yi ni a multidimensional aaye. Iwọn kọọkan ni ibamu si awọn ẹya oriṣiriṣi ti wọn, fun apẹẹrẹ, awọn ẹja ni awọn lẹbẹ, awọn ẹiyẹ ni awọn iyẹ, awọn ologbo ati awọn aja ni awọn ẹsẹ. Apá mìíràn nínú wọn lè jẹ́ pé ẹja jẹ́ ti omi, àwọn ẹyẹ ní pàtàkì lójú ọ̀run, àti ológbò àti ajá sí ilẹ̀. Ni kete ti a ba ni awọn onijagidijagan wọnyi, a le lo awọn imọ-ẹrọ mathematiki lati ṣe akojọpọ wọn da lori ibajọra wọn. Da lori alaye ti a mu,

Nitorinaa, awọn ifibọ fekito dabi maapu kan ti o ṣe iranlọwọ fun wa lati wa ibajọra laarin awọn nkan ni aaye fekito. Gẹgẹ bi maapu ṣe iranlọwọ fun wa lilö kiri ni agbaye, awọn ifibọ vector ṣe iranlọwọ lilö kiri ni ibi isere ere fekito.

Ero pataki ni pe awọn ifibọ ti o jọra ni imọ-jinlẹ si ara wọn ni aaye kekere laarin wọn. Lati wa bii wọn ṣe jọra, a le lo awọn iṣẹ ijinna fekito bii ijinna Euclidean, ijinna cosine, ati bẹbẹ lọ.

Awọn apoti isura infomesonu Vector vs awọn ile-ikawe fekito

Awọn ile-ikawe fekito tọju awọn ifibọ ti awọn olutọka ninu awọn atọka ni iranti, lati le ṣe awọn iwadii ibajọra. Awọn ile-ikawe Vector ni awọn abuda/awọn idiwọn wọnyi:

  1. Itaja vectors nikan : Awọn ile-ikawe Vector nikan tọju awọn ifibọ ti awọn adaṣe ati kii ṣe awọn nkan ti o somọ lati eyiti wọn ti ipilẹṣẹ. Eyi tumọ si pe nigba ti a ba beere, ile-ikawe fekito kan yoo dahun pẹlu awọn fekito to wulo ati awọn ID nkan. Eyi jẹ aropin niwon alaye gangan ti wa ni ipamọ ninu ohun naa kii ṣe id. Lati yanju iṣoro yii, o yẹ ki a tọju awọn nkan naa ni ibi ipamọ keji. Lẹhinna a le lo awọn ID ti o da pada nipasẹ ibeere naa ki a si ba wọn pọ si awọn nkan lati loye awọn abajade.
  2. Data Atọka jẹ aileyipada : Awọn atọka ti a ṣe nipasẹ awọn ile-ikawe fekito jẹ aiyipada. Eyi tumọ si pe ni kete ti a ti gbe data wa wọle ati kọ atọka, a ko le ṣe awọn ayipada (ko si awọn ifibọ tuntun, awọn piparẹ, tabi awọn ayipada). Lati ṣe awọn ayipada si atọka wa, a yoo ni lati tun ṣe lati ibere
  3. Ibeere lakoko ti o ni ihamọ agbewọle : Pupọ awọn ile-ikawe fekito ko le ṣe ibeere lakoko gbigbe data wọle. A nilo lati gbe gbogbo awọn nkan data wa wọle ni akọkọ. Nitorina itọka naa ti ṣẹda lẹhin awọn nkan ti o ti gbe wọle. Eyi le jẹ iṣoro fun awọn ohun elo ti o nilo awọn miliọnu tabi paapaa awọn ọkẹ àìmọye ohun lati gbe wọle.

Ọpọlọpọ awọn ile-ikawe wiwa vector lo wa: FAISS of Facebook, Annoy nipasẹ Spotify ati ScanNN nipasẹ Google. FAISS nlo ọna iṣupọ, Annoy nlo awọn igi ati ScanNN nlo funmorawon fekito. Iṣowo-pipa iṣẹ ṣiṣe wa fun ọkọọkan, eyiti a le yan da lori ohun elo wa ati awọn metiriki iṣẹ.

CRUD

Ẹya akọkọ ti o ṣe iyatọ awọn data data fekito lati awọn ile-ikawe fekito ni agbara lati ṣe ifipamọ, ṣe imudojuiwọn ati paarẹ data. Awọn apoti isura infomesonu Vector ni atilẹyin CRUD pari (ṣẹda, ka, imudojuiwọn ati paarẹ) ti o yanju awọn idiwọn ti ile-ikawe fekito kan.

  1. Archive fekito ati ohun : Awọn apoti isura infomesonu le fipamọ awọn nkan data mejeeji ati awọn apanirun. Niwọn igba ti awọn mejeeji ti wa ni ipamọ, a le darapọ wiwa fekito pẹlu awọn asẹ ti a ṣeto. Awọn asẹ gba wa laaye lati rii daju pe awọn aladugbo ti o sunmọ julọ ni ibamu pẹlu àlẹmọ metadata.
  2. Iyipada : bi fekito infomesonu atilẹyin ni kikun erupẹ, a le ni rọọrun ṣafikun, yọkuro tabi imudojuiwọn awọn titẹ sii ninu atọka wa lẹhin ti o ti ṣẹda. Eyi wulo paapaa nigbati o ba n ṣiṣẹ pẹlu data iyipada nigbagbogbo.
  3. Wiwa akoko gidi : Ko dabi awọn ile-ikawe fekito, awọn apoti isura infomesonu gba wa laaye lati beere ati ṣatunṣe data wa lakoko ilana agbewọle. Bi a ṣe n kojọpọ awọn miliọnu awọn nkan, data ti a ko wọle wa ni iraye ni kikun ati ṣiṣẹ, nitorinaa o ko ni lati duro de agbewọle lati pari lati bẹrẹ ṣiṣẹ lori ohun ti o wa tẹlẹ.

Ni kukuru, ibi-ipamọ data fekito n pese ojutu ti o ga julọ fun mimu awọn ifisinu fekito nipa sisọ awọn aropin ti awọn atọka fekito ti ara ẹni gẹgẹbi a ti jiroro ni awọn aaye iṣaaju.

Ṣugbọn kini o jẹ ki awọn apoti isura infomesonu fekito ga ju awọn apoti isura data ibile lọ?

Vector infomesonu vs ibile infomesonu

Awọn apoti isura infomesonu ti aṣa jẹ apẹrẹ lati fipamọ ati gba data eleto nipa lilo awọn awoṣe ibatan, eyiti o tumọ si pe wọn jẹ iṣapeye fun awọn ibeere ti o da lori awọn ọwọn ati awọn ori ila ti data. Lakoko ti o ṣee ṣe lati ṣafipamọ awọn ifisinu fekito sinu awọn ibi ipamọ data ibile, awọn apoti isura infomesonu wọnyi ko ni iṣapeye fun awọn iṣẹ ṣiṣe fekito ati pe ko le ṣe awọn iwadii ibajọra tabi awọn iṣẹ ṣiṣe eka miiran lori awọn ipilẹ data nla daradara.

Eyi jẹ nitori awọn apoti isura infomesonu ibile lo awọn ilana atọka ti o da lori awọn iru data ti o rọrun, gẹgẹbi awọn okun tabi awọn nọmba. Awọn ilana itọka wọnyi ko dara fun data fekito, eyiti o ni iwọn giga ati nilo awọn ilana itọka amọja gẹgẹbi awọn atọka inverted tabi awọn igi aye.

Paapaa, awọn apoti isura infomesonu ti aṣa ko ṣe apẹrẹ lati mu awọn oye nla ti data ti a ko ṣeto tabi ologbele-ṣeto nigbagbogbo ni nkan ṣe pẹlu awọn ifibọ fekito. Fun apẹẹrẹ, aworan tabi faili ohun le ni awọn miliọnu awọn aaye data ninu, eyiti awọn apoti isura data ibile ko le mu daradara.

Awọn apoti isura infomesonu Vector, ni ida keji, jẹ apẹrẹ pataki lati fipamọ ati gba data fekito pada ati pe o jẹ iṣapeye fun awọn wiwa ibajọra ati awọn iṣẹ ṣiṣe eka miiran lori awọn ipilẹ data nla. Wọn lo awọn ilana atọka pataki ati awọn algoridimu ti a ṣe apẹrẹ lati ṣiṣẹ pẹlu data iwọn-giga, ṣiṣe wọn daradara diẹ sii ju awọn apoti isura infomesonu ibile fun titoju ati gbigba awọn ifibọ fekito pada.

Ni bayi ti o ti ka pupọ nipa awọn data data vector, o le ṣe iyalẹnu, bawo ni wọn ṣe n ṣiṣẹ? Jẹ ki a wo.

Bawo ni aaye data fekito ṣiṣẹ?

Gbogbo wa mọ bi awọn apoti isura data ibatan ṣe n ṣiṣẹ: wọn tọju awọn okun, awọn nọmba, ati awọn iru data scalar miiran ni awọn ori ila ati awọn ọwọn. Ni apa keji, data data fekito n ṣiṣẹ lori awọn apanirun, nitorinaa ọna ti o ṣe iṣapeye ati ibeere jẹ iyatọ pupọ.

Ninu awọn ibi ipamọ data ibile, a maa n beere fun awọn ori ila ni ibi ipamọ data nibiti iye nigbagbogbo baamu ibeere wa ni deede. Ninu awọn ibi ipamọ data fekito, a lo metiriki ibajọra lati wa fekito kan ti o jọra julọ si ibeere wa.

Ibi ipamọ data fekito nlo apapo awọn algoridimu pupọ ti gbogbo wọn ṣe alabapin ninu wiwa adugbo to sunmọ (ANN). Awọn algoridimu wọnyi mu wiwa wa pọ nipasẹ hashing, quantization, tabi wiwa-orisun aworan.

Awọn algoridimu wọnyi ni a kojọpọ sinu opo gigun ti epo ti o pese iyara ati imupadabọ deede ti awọn aladugbo fekito ti o beere. Niwọn bi data data fekito n pese awọn abajade isunmọ, awọn iṣowo akọkọ ti a gbero wa laarin deede ati iyara. Bi abajade ti o ṣe deede sii, ibeere naa yoo fa fifalẹ. Bibẹẹkọ, eto to dara le pese wiwa iyara-iyara pẹlu deede-pipe pipe.

  • Titọka : Awọn atọka data fekito awọn olutọka nipa lilo algoridimu gẹgẹbi PQ, LSH tabi HNSW. Igbesẹ yii ṣepọ awọn olutọpa pẹlu eto data eyiti yoo gba laaye fun wiwa ni iyara.
  • Ibeere : ibi-ipamọ data fekito ṣe afiwe fekito ibeere atọka lodi si awọn ọna itọka ninu ibi-ipamọ data lati wa awọn aladugbo ti o sunmọ julọ (nlo metiriki ibajọra ti itọka yẹn lo)
  • Lẹhin-processing : Ni awọn igba miiran, aaye data fekito mu awọn aladugbo ti o sunmọ ti o kẹhin lati inu dataset ati ṣe ilana wọn lati da awọn abajade ikẹhin pada. Igbesẹ yii le pẹlu atunkọ awọn aladugbo ti o sunmọ julọ nipa lilo iwọn ibajọra ọtọtọ.

anfani

Awọn apoti isura infomesonu Vector jẹ ohun elo ti o lagbara fun awọn wiwa ibajọra ati awọn iṣẹ ṣiṣe eka miiran lori awọn eto data nla, eyiti a ko le ṣe ni imunadoko nipa lilo awọn apoti isura data ibile. Lati kọ ibi ipamọ data fekito ti iṣẹ, awọn ifibọ ṣe pataki, bi wọn ṣe mu itumọ itumọ ti data naa ati mu awọn wiwa ibajọra deede ṣiṣẹ. Ko dabi awọn ile-ikawe fekito, awọn apoti isura infomesonu fekito jẹ apẹrẹ lati baamu ọran lilo wa, ṣiṣe wọn jẹ apẹrẹ fun awọn ohun elo nibiti iṣẹ ṣiṣe ati iwọn ṣe pataki. Pẹlu igbega ti ẹkọ ẹrọ ati oye atọwọda, awọn apoti isura infomesonu fekito ti n di pataki pupọ si awọn ohun elo lọpọlọpọ pẹlu awọn eto alatilẹyin, wiwa aworan, ibajọra itumọ ati atokọ naa tẹsiwaju. Bi aaye naa ti n tẹsiwaju lati dagbasoke, a le nireti lati rii paapaa awọn ohun elo imotuntun diẹ sii ti awọn infomesonu vector ni ọjọ iwaju.

Ercole Palmeri

Iwe iroyin Innovation
Maṣe padanu awọn iroyin pataki julọ lori isọdọtun. Forukọsilẹ lati gba wọn nipasẹ imeeli.

Awọn iwe ti o ṣẹṣẹ

Awọn olutẹwe ati OpenAI fowo si awọn adehun lati ṣe ilana ṣiṣan ti alaye ti a ṣe ilana nipasẹ Imọran Artificial

Ni ọjọ Aarọ to kọja, Awọn akoko Iṣowo kede adehun kan pẹlu OpenAI. FT ṣe iwe-aṣẹ iwe-akọọlẹ agbaye rẹ…

30 Kẹrin 2024

Awọn sisanwo ori ayelujara: Eyi ni Bii Awọn iṣẹ ṣiṣanwọle jẹ ki o sanwo lailai

Awọn miliọnu eniyan sanwo fun awọn iṣẹ ṣiṣanwọle, san awọn idiyele ṣiṣe alabapin oṣooṣu. O jẹ ero ti o wọpọ pe o…

29 Kẹrin 2024

Veeam ṣe ẹya atilẹyin okeerẹ julọ fun ransomware, lati aabo si esi ati imularada

Coveware nipasẹ Veeam yoo tẹsiwaju lati pese awọn iṣẹ esi iṣẹlẹ ikọlu cyber. Coveware yoo funni ni awọn oniwadi ati awọn agbara atunṣe…

23 Kẹrin 2024

Alawọ ewe ati Iyika oni-nọmba: Bawo ni Itọju Asọtẹlẹ ti n Yipada Ile-iṣẹ Epo & Gaasi

Itọju isọtẹlẹ jẹ iyipada ti eka epo & gaasi, pẹlu imotuntun ati ọna imudani si iṣakoso ọgbin.…

22 Kẹrin 2024