Mila milioi edo are milioika parametroz osatutako neurona-sare batek hamar milioi euroko baliabideak behar ditu.
Hain kostu handiekin, adimen artifizialaren eredu handi bat eraiki eta trebatzeko gai diren eragile bakarrak multinazionalak dira.
Ezaugarri hauekin, AI ikerketaren kostua sartzeko oztopoa da.
Azken urteotan eredu txikiagoak eta konplexuak ez diren ereduak ugaritu direla ikusi dugu, LLM hizkuntza eredu handietatik urrun egon arren.
Azken urteotan buelta bat ikusi dugu. Esaterako, Metak OPT-175B (Open Pretrained Transformer) kaleratzea, datu-multzo publikoekin trebatutako hizkuntza-eredua eta ikertzaileen eskura jarri "ia" modu irekian.
Baina momentuko albistea BigSciencek BLOOM LM kaleratzea da.
BLOOM sarbide irekiko hizkuntza-eredu eleaniztun bat da, 176 mila milioi parametro dituena eta 3,5 hilabetez entrenatu da 384 A100–80 GB GPUtan.
BLOOM checkpoint batek 330 GB-ko espazioa hartzen du, beraz, ezinezkoa dirudi eredu hau mahaigaineko ordenagailu batean exekutatu.
Hala ere, nahikoa diskoko leku eta gutxienez 16 GB RAM behar dituzu eredu hau zure ordenagailuan exekutatzeko.
BLOOM 1.000 zientzialarik baino gehiagok elkarlanean egindako ahalegina da.
Garrantzitsua da eredu eleaniztun hain zabala denon eskura egotea.
BLOOM kausazko eredu-lengoaia da, hau da, hurrengo tokenaren iragarle gisa trebatu dela.
Esaldi batean hurrengo tokena iragartzeko estrategia itxuraz sinplea, aurreko token multzo batean oinarrituta, hizkuntza-eredu handien arrazoiketa-ahalmen-maila bat jasotzen duela frogatu da.
Horri esker, BLOOMek eta antzeko ereduek hainbat kontzeptu lotu ditzakete esaldi batean, eta aritmetika, itzulpena eta programazioa bezalako arazo ez-hutsak nahiko zehaztasunez ebazteko gai izan daitezke.
BLOOMek sarrerako txertatze geruza, 70 Transformer bloke eta irteerako hizkuntza modelatzeko geruzaz osatutako Transformer arkitektura bat erabiltzen du, hurrengo irudian erakusten den moduan.
Post-etik ateratako artikulua Luca Sambucci, irakurri nahi baduzuBerriak.AI
Google DeepMind bere adimen artifizialaren ereduaren bertsio hobetua aurkezten ari da. Hobetutako eredu berriak ez ezik...
Laravel-ek, bere sintaxi dotoreagatik eta ezaugarri indartsuengatik famatua, arkitektura modularraren oinarri sendoa ere eskaintzen du. Han…
Cisco eta Splunk bezeroei etorkizuneko Segurtasun Operazio Zentrora (SOC) bidaia bizkortzen laguntzen ari dira...
Ransomwarea izan da nagusi azken bi urteotan albisteetan. Jende gehienak ondo daki erasoak...
Oftalmoplastia ebakuntza bat Apple Vision Pro ikusle komertziala erabiliz egin zen Catania Poliklinikan...
Koloreen bidez motrizitate fina garatzeak idazketa bezalako trebetasun konplexuagoetarako prestatzen ditu haurrak. Koloreztatzeko...
Itsas sektorea benetako potentzia ekonomiko globala da, 150 milioi merkatura nabigatu duena...
Joan den astelehenean, Financial Times-ek akordio bat iragarri zuen OpenAIrekin. FTk bere mundu mailako kazetaritza lizentzia ematen du...
