Ing sasi anyar, kacepetan karo model basa gedhe inovatif wis dirilis iku nggumunake. Ing artikel iki, kita bakal nutupi podho utama lan beda antarane GPT4 vs ChatGPT, kalebu cara latihan, kinerja, kabisan lan watesan.
GPT4 lan ChatGPT mbangun versi lawas saka model GPT kanthi dandan ing arsitektur model, nggunakake cara latihan sing luwih canggih, lan kanthi jumlah paramèter latihan sing luwih dhuwur.
Loro-lorone desain adhedhasar arsitektur trafo, sing nggunakake encoder kanggo ngolah urutan input lan dekoder kanggo ngasilake urutan output. Enkoder lan dekoder disambungake kanthi mekanisme, sing ngidini dekoder menehi perhatian luwih cedhak karo urutan input sing paling penting.
Laporan teknis GPT4 OpenAI nawakake sethithik wawasan babagan arsitektur model lan proses pembentukan GPT4, kanthi nyebutake "competitive landscape and the safety implications of large-scale models“. Sing ngerti yaiku GPT4 lan ChatGPT bisa uga dilatih kanthi cara sing padha, sing beda banget karo metode latihan sing digunakake kanggo GPT-2 lan GPT-3. Kita ngerti luwih akeh babagan cara latihan kanggo ChatGPT tinimbang GPT4, mula kita bakal miwiti.
ChatGPT dilatih nganggo dataset dialog, kalebu data demo, ing ngendi annotator manungsa nduduhake output sing dikarepake saka asisten chatbot kanggo nanggepi panjaluk tartamtu. Data iki digunakake kanggo nyetel GPT3.5 kanthi sinau sing diawasi, ngasilake model kabijakan, sing digunakake kanggo ngasilake pirang-pirang respon nalika panjalukan diwenehake. Anotasi manungsa banjur nggolongake endi respon kanggo pituduh sing menehi asil paling apik, sing digunakake kanggo nglatih model ganjaran. Model ganjaran banjur digunakake kanggo nyempurnakake model kabijakan kanthi iteratif nggunakake pembelajaran penguatan.
ChatGPT dilatih nggunakake Sinau Penguatan saka Umpan Balik Manungsa (RLHF), cara kanggo nggabungake umpan balik manungsa kanggo nambah model basa sajrone latihan. Iki ngidini output model selaras karo aktivitas sing dijaluk pangguna, tinimbang mung prédhiksi tembung sabanjure ing ukara adhedhasar data latihan umum, kayata GPT-3.
OpenAI durung ngumumake rincian babagan cara nglatih GPT4. Laporan teknis kasebut ora kalebu "details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar“. Sing kita ngerti yaiku GPT4 minangka model multimode generatif gaya trafo sing dilatih. Ing data sing kasedhiya kanggo umum lan data pihak katelu sing dilisensi lan banjur disempurnakake nggunakake RLHF. Sing nggumunake, OpenAI nuduhake rincian babagan teknik RLHF sing dianyari supaya tanggepan model luwih akurat lan ora bisa mabur ing njaba pagar pengaman.
Sawise nglatih model kabijakan (kaya karo ChatGPT), RLHF digunakake ing latihan adversarial, proses sing nglatih model babagan conto ala sing dimaksudake kanggo ngapusi model kasebut supaya bisa mbela conto kasebut ing mangsa ngarep. Ing kasus GPT4, para ahli ngevaluasi respon model politik marang tuntutan sing kontradiktif. Tanggepan kasebut banjur digunakake kanggo nglatih model ganjaran tambahan sing nyaring model kabijakan kanthi iteratif, nyebabake model sing cenderung menehi respon sing mbebayani, nyingkiri, utawa ora akurat.
Ing babagan fungsi, ChatGPT lan GPT4 luwih padha tinimbang beda. Kaya sing sadurunge, GPT-4 uga sesambungan kanthi gaya obrolan sing tujuane nyelarasake karo pangguna. Minangka sampeyan bisa ndeleng ing ngisor iki, jawaban antarane rong model kanggo pitakonan sing amba banget padha.
OpenAI setuju manawa bedane antarane model bisa dadi subtle lan nyatakake yen "prabédan kasebut metu nalika kerumitan tugas tekan ambang sing cukup". Diwenehi enem sasi latihan adversarial sing model basis GPT4 ngalami ing phase post-training, iki mbokmenawa karakterisasi akurat.
Ora kaya ChatGPT, sing mung nampa teks, GPT4 nampa pesen gambar lan teks, mbalekake tanggepan teks. Nalika nulis iki, sayangé, kemampuan kanggo nggunakake input gambar durung kasedhiya kanggo umum.
Kaya kasebut ing ndhuwur, OpenAI nglaporake peningkatan sing signifikan ing kinerja keamanan kanggo GPT4, dibandhingake karo GPT-3.5 (saka ChatGPT disetel). Nanging, saiki ora jelas apa:
amarga model GPT4 dhewe utawa tes kontradiksi tambahan.
Kajaba iku, GPT4 ngluwihi CPT-3.5 ing umume ujian akademik lan profesional sing dijupuk manungsa. Utamane, skor GPT4 ing persentil kaping 90 ing ujian Seragam Bar dibandhingake karo GPT-3.5, sing entuk skor ing persentil kaping 10. GPT4 uga luwih unggul tinimbang sing sadurunge ing pathokan model basa tradisional lan model SOTA liyane (sanajan kadhangkala kanthi sempit).
Loro-lorone ChatGPT lan GPT4 duwe watesan lan risiko sing signifikan. Lembar sistem GPT-4 kalebu wawasan saka eksplorasi rinci babagan risiko sing ditindakake dening OpenAI.
Iki mung sawetara risiko sing ana gandhengane karo model kasebut:
Nalika ChatGPT lan GPT-4 berjuang kanthi watesan lan risiko sing padha, OpenAI wis nggawe upaya khusus, kalebu akeh tes sing mbantah, kanggo nyuda GPT-4. Nalika iki nyemangati, lembar sistem GPT-4 pungkasane nuduhake carane ngrugekke ChatGPT (lan bisa uga isih ana). Kanggo panjelasan sing luwih rinci babagan akibat sing ora disengaja sing mbebayani, aku nyaranake maca lembar sistem GPT-4, sing diwiwiti ing kaca 38 saka Laporan Teknis GPT-4 .
Nalika kita ngerti sethithik babagan arsitektur model, lan cara latihan ing mburi GPT4, katon ana versi ChatGPT sing ditapis. Nyatane, saiki GPT4 bisa nampa gambar lan input teks, lan asile luwih aman, akurat lan luwih kreatif. Sayange, kita kudu njupuk tembung OpenAI, amarga GPT4 mung kasedhiya minangka bagean saka langganan ChatGPT Plus.
Tetep ngerti babagan kemajuan, risiko lan watesan model iki penting nalika kita navigasi lanskap model basa gedhe sing nyenengake nanging berkembang kanthi cepet.
BlogInnovazione.it
Google DeepMind ngenalake versi model intelijen buatan sing luwih apik. Model anyar sing luwih apik nyedhiyakake ora mung…
Laravel, sing misuwur amarga sintaksis sing elegan lan fitur sing kuat, uga nyedhiyakake dhasar sing kuat kanggo arsitektur modular. Ana…
Cisco lan Splunk mbantu para pelanggan nyepetake perjalanan menyang Pusat Operasi Keamanan (SOC) ing mangsa ngarep kanthi…
Ransomware wis ndominasi warta sajrone rong taun kepungkur. Umume wong ngerti manawa serangan…
Operasi ophthalmoplasty nggunakake penampil komersial Apple Vision Pro ditindakake ing Poliklinik Catania…
Ngembangake katrampilan motorik sing apik liwat pewarnaan nyiapake bocah kanggo katrampilan sing luwih rumit kaya nulis. Kanggo mewarnai…
Sektor angkatan laut minangka kekuwatan ekonomi global sing sejatine, sing wis ngarahake pasar 150 milyar ...
Senin kepungkur, Financial Times ngumumake kesepakatan karo OpenAI. FT menehi lisensi jurnalisme kelas donya…
