Nan dènye mwa yo, vitès ak inovatè gwo lang modèl yo te lage se etonan. Nan atik sa a, nou pral kouvri resanblans prensipal yo ak diferans ki genyen ant GPT4 ak ChatGPT, ki gen ladan metòd fòmasyon, pèfòmans, kapasite ak limit yo.
GPT4 ak ChatGPT bati sou ansyen vèsyon modèl GPT ak amelyorasyon nan achitekti modèl la, anplwaye metòd fòmasyon ki pi sofistike, ak yon pi gwo kantite paramèt fòmasyon.
Tou de konsepsyon yo baze sou achitekti transfòmatè, ki itilize yon ankode pou trete sekans opinyon ak yon dekodeur pou jenere sekans pwodiksyon. Ankode a ak dekodeur yo konekte pa yon mekanis, ki pèmèt dekodeur a peye pi pre atansyon a sekans yo opinyon ki pi enpòtan.
Rapò teknik GPT4 la nan OpenAI ofri ti insight sou achitekti modèl la ak pwosesis fòmasyon GPT4, site "competitive landscape and the safety implications of large-scale models". Ki sa nou konnen se ke GPT4 ak ChatGPT yo pwobableman fòme menm jan an, ki se byen yon diferans ak metòd fòmasyon yo itilize pou GPT-2 ak GPT-3. Nou konnen anpil plis sou metòd fòmasyon pou ChatGPT pase GPT4, kidonk nou pral kòmanse la.
ChatGPT resevwa fòmasyon ak seri done dyalòg, ki gen ladan done Demo, kote annotatè imen demontre pwodiksyon an espere nan yon asistan chatbot an repons a demann espesifik. Done sa yo itilize pou ajiste GPT3.5 ak aprantisaj sipèvize, ki pwodui yon modèl politik, ki itilize pou jenere plizyè repons lè yo bay demann. Lè sa a, annotatè imen yo klase ki nan repons yo pou yon èd memwa bay pi bon rezilta yo, ki itilize pou fòme yon modèl rekonpans. Lè sa a, yo itilize modèl rekonpans lan pou afine modèl politik la ak aprantisaj ranfòsman.
ChatGPT fòme lè l sèvi avèk Ranfòsman Aprantisaj nan Feedback Moun (RLHF), yon fason pou enkòpore fidbak moun pou amelyore yon modèl lang pandan fòmasyon. Sa a pèmèt pwodiksyon modèl la aliman ak aktivite itilizatè a mande, olye ke jis predi pwochen mo a nan yon fraz ki baze sou yon gwoup done fòmasyon jenerik, tankou GPT-3.
OpenAI poko divilge detay sou fason li te fòme GPT4. Rapò teknik yo pa gen ladan "details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar". Ki sa nou konnen se ke GPT4 se yon modèl transfòmatè-style jeneratif multimode ki antrene. Tou de sou done ki disponib piblikman ak sou done twazyèm-pati ki gen lisans epi answit ajiste amann lè l sèvi avèk RLHF. Enteresan, OpenAI te pataje detay konsènan teknik RLHF aktyalize yo pou fè repons modèl yo pi egzak ak mwens chans pou yo flote andeyò balistrad sekirite yo.
Apre fòmasyon yon modèl politik (tankou ak ChatGPT), yo itilize RLHF nan fòmasyon kontrè, yon pwosesis ki fòme yon modèl sou egzanp move gen entansyon twonpe modèl la nan defann li kont egzanp sa yo nan lavni. Nan ka GPT4, ekspè yo evalye repons modèl politik la nan revandikasyon kontradiktwa yo. Lè sa a, repons sa yo itilize pou antrene modèl rekonpans adisyonèl ki rafine modèl politik la, sa ki lakòz yon modèl ki gen mwens chans bay repons danjere, evazif oswa ki pa kòrèk.
An tèm de fonctionnalités, ChatGPT ak GPT4 yo pi sanble pase diferan. Menm jan ak predesesè li a, GPT-4 tou reyaji nan yon style konvèsasyon ki vize aliman ak itilizatè a. Kòm ou ka wè anba a, repons ki genyen ant de modèl yo pou yon kesyon laj yo sanble anpil.
OpenAI dakò ke distenksyon ki genyen ant modèl yo ka sibtil epi li di ke "diferans lan soti lè konpleksite travay la rive nan yon papòt ase". Etandone sis mwa fòmasyon advèsè ke modèl baz GPT4 te sibi nan faz apre fòmasyon li yo, sa a se pwobableman yon karakterizasyon egzat.
Kontrèman ak ChatGPT, ki sèlman aksepte tèks, GPT4 aksepte tou de envit imaj ak tèks, retounen repons tèks. Kòm nan ekri sa a, malerezman, kapasite nan sèvi ak opinyon imaj yo poko disponib piblikman.
Kòm mansyone pi wo a, OpenAI rapòte yon amelyorasyon siyifikatif nan pèfòmans sekirite pou GPT4, konpare ak GPT-3.5 (ki soti nan ki ChatGPT te branche). Sepandan, kounye a li pa klè si:
se akòz modèl GPT4 tèt li oswa lòt tès yo kontredi.
Anplis de sa, GPT4 depase CPT-3.5 nan pifò egzamen akademik ak pwofesyonèl moun pran. Miyò, nòt GPT4 nan 90yèm percentile nan egzamen Inifòm Bar la konpare ak GPT-3.5, ki fè nòt nan 10yèm percentile. GPT4 siyifikativman depase predesesè li sou referans modèl lang tradisyonèl yo ak lòt modèl SOTA (kwake pafwa pa jis).
Tou de ChatGPT ak GPT4 gen limit enpòtan ak risk. Fèy sistèm GPT-4 la gen ladann enfòmasyon ki soti nan yon eksplorasyon detaye sou risk sa yo ki fèt pa OpenAI.
Sa yo se jis kèk nan risk ki asosye ak tou de modèl:
Pandan ke ChatGPT ak GPT-4 ap lite ak menm limit ak risk yo, OpenAI te fè efò espesyal, ki gen ladan anpil tès kontredi, pou bese yo pou GPT-4. Pandan ke sa a se ankourajan, fèy sistèm GPT-4 finalman demontre ki jan vilnerab ChatGPT te (e petèt toujou ye). Pou yon eksplikasyon pi detaye sou konsekans danjere envolontè, mwen rekòmande li fèy sistèm GPT-4 la, ki kòmanse nan paj 38 nan GPT-4 rapò teknik .
Pandan ke nou konnen ti kras sou achitekti modèl la, ak metòd fòmasyon dèyè GPT4, sanble gen yon vèsyon rafine nan ChatGPT. An reyalite, kounye a GPT4 kapab aksepte imaj ak opinyon tèks, ak rezilta yo pi an sekirite, pi egzak ak pi kreyatif. Malerezman, nou pral oblije pran pawòl OpenAI pou li, paske GPT4 disponib sèlman kòm yon pati nan abònman ChatGPT Plus la.
Rete enfòme sou pwogrè, risk ak limit modèl sa yo esansyèl pandan n ap navige nan peyizaj eksitan men k ap evolye gwo modèl lang sa a.
BlogInnovazione.it
Nenpòt operasyon biznis pwodui anpil done, menm nan diferan fòm. Antre done sa yo manyèlman nan yon fèy Excel pou...
Konpwomi imèl konpayi an te ogmante plis pase doub nan premye twa mwa 2024 yo konpare ak dènye trimès la nan...
Prensip la nan segregasyon koòdone se youn nan senk prensip yo SOLID nan konsepsyon objè-oryante. Yon klas ta dwe genyen...
Microsoft Excel se zouti referans pou analiz done, paske li ofri anpil karakteristik pou òganize seri done,...
Walliance, SIM ak platfòm nan mitan lidè yo nan Ewòp nan domèn nan Crowdfunding Imobilye depi 2017, anonse fini an ...
Filaman se yon kad devlopman "akselere" Laravel, ki bay plizyè konpozan plen pil. Li fèt pou senplifye pwosesis la nan...
«Mwen dwe retounen pou konplete evolisyon mwen an: mwen pral pwojte tèt mwen andedan òdinatè a epi mwen pral vin pi enèji. Yon fwa etabli nan...
Google DeepMind ap prezante yon vèsyon amelyore nan modèl entèlijans atifisyèl li yo. Nouvo modèl amelyore bay non sèlman...
