Dina sasih-sasih ayeuna, laju ngaluncurkeun modél basa ageung anu inovatif luar biasa. Dina artikel ieu, urang bakal nutupan kamiripan utama jeung béda antara GPT4 vs ChatGPT, kaasup métode latihan, kinerja, kamampuhan jeung watesan.
GPT4 sareng ChatGPT ngawangun dina vérsi anu langkung lami tina modél GPT kalayan perbaikan arsitéktur modél, ngagunakeun metode latihan anu langkung canggih, sareng kalayan jumlah parameter pelatihan anu langkung luhur.
Kadua desain dumasar kana arsitektur trafo, anu ngagunakeun encoder pikeun ngolah sekuen input sareng decoder pikeun ngahasilkeun sekuen kaluaran. Encoder sareng decoder disambungkeun ku mékanisme, anu ngamungkinkeun decoder nengetan langkung caket kana urutan input anu paling penting.
The GPT4 laporan teknis OpenAI nawiskeun sakedik wawasan ngeunaan arsitéktur modél sareng prosés formasi GPT4, nyatakeun "competitive landscape and the safety implications of large-scale models“. Anu kami terang nyaéta yén GPT4 sareng ChatGPT sigana dilatih sami, anu rada béda ti metode latihan anu dianggo pikeun GPT-2 sareng GPT-3. Urang terang langkung seueur ngeunaan metode latihan pikeun ChatGPT tibatan GPT4, janten urang mimitian di dinya.
ChatGPT dilatih sareng datasets dialog, kaasup data demo, dimana annotators manusa demonstrate output ekspektasi tina asisten chatbot dina respon kana requests husus. Data ieu dianggo pikeun nyaluyukeun GPT3.5 sareng diajar anu diawaskeun, ngahasilkeun modél kawijakan, anu dianggo pikeun ngahasilkeun sababaraha réspon nalika paménta disayogikeun. Annotators manusa lajeng mengklasifikasikan mana tina réspon pikeun ajakan dibikeun yielded hasil pangalusna, nu dipaké pikeun ngalatih model ganjaran. Modél reward lajeng dipaké pikeun iteratively fine-tune model kawijakan ngagunakeun reinforcement learning.
ChatGPT dilatih ngagunakeun Panguatan Diajar tina Eupan Balik Manusa (RLHF), cara pikeun ngasupkeun eupan balik manusa pikeun ngaronjatkeun model basa salila latihan. Hal ieu ngamungkinkeun kaluaran modél pikeun saluyu sareng kagiatan anu dipénta ku pangguna, sanés ngan ukur ngaramalkeun kecap salajengna dina kalimah dumasar kana badan data latihan umum, sapertos GPT-3.
OpenAI henteu acan ngungkabkeun detil ngeunaan kumaha éta ngalatih GPT4. Laporan téknisna henteu kalebet "details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar“. Anu kami terang nyaéta GPT4 mangrupikeun modél multimode generatif gaya trafo anu dilatih. Boh dina data anu sadia pikeun umum sareng dina data pihak katilu anu dilisensikeun sareng saterasna disaluyukeun nganggo RLHF. Narikna, OpenAI ngabagikeun detil ngeunaan téknik RLHF anu diénggalan pikeun ngajantenkeun réspon modél langkung akurat sareng henteu gampang hanyut di luar pagar kaamanan.
Sanggeus latihan model kawijakan (sakumaha jeung ChatGPT), RLHF dipaké dina latihan adversarial, prosés nu ngalatih model on conto jahat dimaksudkeun pikeun trik model kana defending eta ngalawan conto misalna dina mangsa nu bakal datang. Dina kasus GPT4, para ahli meunteun réspon modél pulitik kana tungtutan anu kontradiktif. réspon ieu lajeng dipaké pikeun ngalatih model ganjaran tambahan nu iteratively nyaring model kawijakan, hasilna model nu kurang kamungkinan kana nyadiakeun réspon bahaya, evasive, atawa teu akurat.
Dina hal fungsionalitas, ChatGPT sareng GPT4 langkung mirip tibatan anu béda. Kawas miheulaan na, GPT-4 ogé berinteraksi dina gaya conversational nu boga tujuan pikeun align kalawan pamaké. Sakumaha anjeun tiasa tingali di handap, jawaban antara dua model pikeun patarosan lega pisan sarupa.
OpenAI satuju yén bédana antara modél tiasa halus sareng nyatakeun yén "bédana kaluar nalika pajeulitna tugas ngahontal ambang anu cekap". Dibikeun genep bulan latihan adversarial yén modél dasar GPT4 ngalaman dina fase pasca-latihan, ieu sigana mangrupikeun karakterisasi anu akurat.
Beda sareng ChatGPT, anu ngan ukur nampi téks, GPT4 nampi pesen gambar sareng téks, ngabalikeun réspon téks. Dina tulisan ieu, hanjakalna, kamampuan ngagunakeun input gambar henteu acan sayogi umum.
Sakumaha didadarkeun di luhur, OpenAI ngalaporkeun paningkatan anu signifikan dina kinerja kaamanan pikeun GPT4, dibandingkeun sareng GPT-3.5 (ti mana ChatGPT ditala). Nanging, ayeuna henteu écés naha:
Éta alatan model GPT4 sorangan atawa tés contradicting tambahan.
Sajaba ti, GPT4 outperforms CPT-3.5 dina paling ujian akademik sarta profésional-diambil manusa. Utamana, skor GPT4 dina persentil ka-90 dina ujian Bar Seragam dibandingkeun sareng GPT-3.5, anu skor dina persentil ka-10. GPT4 ogé sacara signifikan outperforms miheulaan na on tolok ukur model basa tradisional jeung model SOTA séjén (sanajan kadang ku sempit).
Duanana ChatGPT sareng GPT4 gaduh watesan sareng résiko anu signifikan. Lembar sistem GPT-4 kalebet wawasan tina eksplorasi detil ngeunaan résiko anu dilakukeun ku OpenAI.
Ieu ngan sababaraha resiko pakait sareng duanana model:
Nalika ChatGPT sareng GPT-4 berjuang sareng watesan sareng résiko anu sami, OpenAI parantos ngadamel usaha khusus, kalebet seueur tes anu kontradiksi, pikeun ngirangan aranjeunna pikeun GPT-4. Sanaos ieu ngadorong, lembar sistem GPT-4 pamustunganana nunjukkeun kumaha rentan ChatGPT (sareng panginten masih aya). Pikeun katerangan anu langkung rinci ngeunaan akibat anu teu dihaja anu ngabahayakeun, kuring nyarankeun maca lambaran sistem GPT-4, anu dimimitian dina kaca 38 laporan teknis GPT-4 .
Sanaos urang terang sakedik ngeunaan arsitéktur modél, sareng metode latihan di tukangeun GPT4, sigana aya versi ChatGPT anu disampurnakeun. Nyatana, ayeuna GPT4 tiasa nampi gambar sareng input téks, sareng hasilna langkung aman, langkung akurat sareng langkung kreatif. Hanjakalna, urang kedah nyandak kecap OpenAI pikeun éta, sabab GPT4 ngan ukur sayogi salaku bagian tina langganan ChatGPT Plus.
Tetep terang ngeunaan kamajuan, résiko sareng keterbatasan modél ieu penting nalika urang nganapigasi bentang modél basa ageung anu pikaresepeun tapi ngembang pesat ieu.
BlogInnovazione.it
Microsoft Excel mangrupikeun alat rujukan pikeun analisis data, sabab nawiskeun seueur fitur pikeun ngatur set data,…
Walliance, SIM sareng platform diantara pamimpin di Éropa dina widang Real Estate Crowdfunding saprak 2017, ngumumkeun parantosan…
Filamén mangrupikeun kerangka pangembangan Laravel anu "gancangan", nyayogikeun sababaraha komponén tumpukan pinuh. Éta dirancang pikeun nyederhanakeun prosés…
«Kuring kudu balik pikeun ngalengkepan évolusi kuring: Kuring bakal proyek sorangan di jero komputer tur jadi énergi murni. Sakali netep di…
Google DeepMind ngenalkeun vérsi anu ditingkatkeun tina modél kecerdasan buatan na. Modél anu ditingkatkeun énggal nyayogikeun sanés ngan ukur…
Laravel, anu kasohor ku sintaksis anu elegan sareng fitur anu kuat, ogé nyayogikeun dasar anu kuat pikeun arsitektur modular. Tuh…
Cisco sareng Splunk ngabantosan para nasabah ngagancangkeun perjalanan ka Pusat Operasi Kaamanan (SOC) ka hareup kalayan…
Ransomware parantos ngadominasi warta salami dua taun ka pengker. Seueur jalma sadar yén serangan…
