تازن مهينن ۾، جنهن رفتار سان جديد وڏي ٻولي جا ماڊل جاري ڪيا ويا آهن، حيرت انگيز آهي. هن آرٽيڪل ۾، اسين GPT4 بمقابله ChatGPT جي وچ ۾ بنيادي هڪجهڙائي ۽ فرق کي ڍڪينداسين، بشمول تربيتي طريقا، ڪارڪردگي، صلاحيتون ۽ حدون.
GPT4 ۽ ChatGPT GPT ماڊلز جي پراڻن ورزن تي ٺھيل آھن ماڊل آرڪيٽيڪچر کي بھتر ڪرڻ سان، وڌيڪ نفيس تربيتي طريقا استعمال ڪندي، ۽ ٽريننگ پيرا ميٽرن جي وڏي تعداد سان.
ٻئي ڊزائينز ٽرانسفارمر آرڪيٽيڪچر تي ٻڌل آهن، جيڪي ان پٽ جي ترتيبن کي پروسيس ڪرڻ لاءِ انڪوڊر استعمال ڪن ٿا ۽ آئوٽ پُٽ جي ترتيبن کي پيدا ڪرڻ لاءِ ڊيڪوڊر. انڪوڊر ۽ ڊيڪوڊر هڪ ميکانيزم سان ڳنڍيل آهن، جيڪا ڊيڪوڊر کي سڀ کان اهم ان پٽ جي ترتيبن تي وڌيڪ ڌيان ڏيڻ جي اجازت ڏئي ٿي.
GPT4 ٽيڪنيڪل رپورٽ OpenAI جو ماڊل آرڪيٽيڪچر ۽ GPT4 ٺاھڻ جي عمل ۾ ٿورو بصيرت پيش ڪري ٿو، بيان ڪندي "competitive landscape and the safety implications of large-scale models“. جيڪو اسان ڄاڻون ٿا اهو آهي ته GPT4 ۽ ChatGPT شايد ساڳئي طرح تربيت ڪئي وئي آهي، جيڪو GPT-2 ۽ GPT-3 لاء استعمال ڪيل تربيتي طريقن کان ڪافي فرق آهي. اسان GPT4 جي ڀيٽ ۾ ChatGPT لاءِ تربيتي طريقن بابت گهڻو ڪجهه ڄاڻون ٿا، تنهنڪري اسان اتي شروع ڪنداسين.
ChatGPT dialogue datasets سان تربيت ڪئي وئي آهي، بشمول ڊيمو ڊيٽا، جتي انساني تشريح ڪندڙ مخصوص درخواستن جي جواب ۾ چيٽ بوٽ اسسٽنٽ جي متوقع پيداوار جو مظاهرو ڪندا آهن. هي ڊيٽا GPT3.5 کي نگراني ڪيل سکيا سان گڏ ڪرڻ لاءِ استعمال ڪيو ويندو آهي، هڪ پاليسي ماڊل ٺاهيندي، جنهن کي استعمال ڪيو ويندو آهي ڪيترن ئي جوابن کي پيدا ڪرڻ لاءِ جڏهن درخواستون مهيا ڪيون وڃن. انساني تشريح ڪندڙ پوءِ درجه بندي ڪن ٿا ته ڏنل جوابن مان ڪھڙو جواب ڏنو ويو آھي بھترين نتيجا، جيڪو انعام جي ماڊل کي تربيت ڏيڻ لاءِ استعمال ڪيو ويندو آھي. ان کان پوءِ انعام وارو ماڊل استعمال ڪيو ويندو آهي پاليسي ماڊل کي ٻيهر سڌارڻ لاءِ reinforcement لرننگ استعمال ڪندي.
ChatGPT استعمال ڪندي تربيت ڏني وئي آهي انساني راءِ کان مضبوطي جي سکيا (RLHF)، تربيت دوران ٻوليء جي ماڊل کي بهتر ڪرڻ لاء انساني راء کي شامل ڪرڻ جو هڪ طريقو. هي ماڊل آئوٽ کي اجازت ڏئي ٿو ته صارف پاران درخواست ڪيل سرگرمي سان ترتيب ڏيڻ جي بجاءِ، صرف هڪ جملي ۾ ايندڙ لفظ جي اڳڪٿي ڪرڻ بجاءِ عام ٽريننگ ڊيٽا جي جسم جي بنياد تي، جهڙوڪ GPT-3.
OpenAI اڃا تائين تفصيل بيان ڪري چڪو آهي ته اهو ڪيئن GPT4 کي تربيت ڏني. انهن جي ٽيڪنيڪل رپورٽ ۾ شامل نه آهي "details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar“. جيڪو اسان ڄاڻون ٿا اهو آهي ته GPT4 هڪ تربيت يافته ٽرانسفارمر طرز پيدا ڪندڙ ملٽي موڊ ماڊل آهي. ٻئي عوامي طور تي دستياب ڊيٽا تي ۽ ٽئين پارٽي جي ڊيٽا تي لائسنس يافته ۽ بعد ۾ RLHF استعمال ڪندي ٺيڪ ٺاڪ. دلچسپ ڳالهه اها آهي ته، OpenAI انهن جي تازه ڪاري ٿيل RLHF ٽيڪنالاجي جي حوالي سان تفصيلات شيئر ڪيو ته ماڊل جوابن کي وڌيڪ صحيح ۽ گهٽ ۾ گهٽ حفاظتي گارڊن کان ٻاهر نڪرڻ جو امڪان.
پاليسي ماڊل کي تربيت ڏيڻ کان پوءِ (جيئن ChatGPT سان)، RLHF مخالف ڌر جي تربيت ۾ استعمال ڪيو ويندو آهي، هڪ اهڙو عمل جيڪو هڪ ماڊل کي ٽريننگ ڪري ٿو بدسلوڪي مثالن تي جنهن جو مقصد ماڊل کي چالاڪ ڪرڻ لاءِ مستقبل ۾ اهڙن مثالن جي خلاف دفاع ڪرڻ لاءِ. GPT4 جي صورت ۾، ماهر متضاد مطالبن جي سياسي ماڊل جي جوابن جو جائزو وٺندا آهن. اهي جواب وري اضافي انعام واري ماڊل کي تربيت ڏيڻ لاءِ استعمال ڪيا ويندا آهن جيڪي پاليسي ماڊل کي ٻيهر بهتر بڻائيندا آهن، نتيجي ۾ هڪ ماڊل جنهن جو امڪان گهٽ هوندو آهي ته خطرناڪ، گمراهه ڪندڙ، يا غلط جواب مهيا ڪن.
ڪارڪردگي جي لحاظ کان، ChatGPT ۽ GPT4 مختلف کان وڌيڪ ساڳيا آهن. ان جي اڳڪٿي وانگر، GPT-4 پڻ گفتگو واري انداز ۾ رابطو ڪري ٿو جنهن جو مقصد صارف سان ترتيب ڏيڻ آهي. جئين توهان هيٺ ڏسي سگهو ٿا، هڪ وسيع سوال لاء ٻن ماڊلن جي وچ ۾ جواب بلڪل ساڳيا آهن.
OpenAI اتفاق ڪري ٿو ته ماڊل جي وچ ۾ فرق ذيلي ٿي سگهي ٿو ۽ ٻڌائي ٿو ته "فرق تڏهن نڪرندو آهي جڏهن ڪم جي پيچيدگي ڪافي حد تائين پهچي ٿي". ڇهن مهينن جي مخالف ڌر جي تربيت کي ڏنو ويو ته GPT4 بنيادي ماڊل ان جي پوسٽ ٽريننگ مرحلي ۾ گذريو، اهو شايد هڪ صحيح خصوصيت آهي.
ChatGPT جي برعڪس، جيڪو صرف ٽيڪسٽ قبول ڪري ٿو، GPT4 ٻنهي تصويرن ۽ متن جي اشارن کي قبول ڪري ٿو، متن جي جوابن کي واپس ڪري ٿو. هن لکڻين جي طور تي، بدقسمتي سان، تصويري ان پٽ استعمال ڪرڻ جي صلاحيت اڃا تائين عوامي طور تي دستياب ناهي.
جيئن مٿي ذڪر ڪيو ويو آهي، OpenAI رپورٽ ڪري ٿو GPT4 لاءِ سيڪيورٽي ڪارڪردگي ۾ اهم سڌارو، GPT-3.5 جي مقابلي ۾ (جنهن مان ChatGPT ٽيون ڪيو ويو هو). بهرحال، اهو في الحال واضح ناهي ته ڇا:
خود GPT4 ماڊل يا اضافي متضاد ٽيسٽن جي ڪري آهن.
اضافي طور تي، GPT4 CPT-3.5 کان وڌيڪ انساني طور تي ورتو ويو تعليمي ۽ پيشه ورانه امتحانن ۾. خاص طور تي، يونيفارم بار جي امتحان ۾ GPT4 اسڪور 90 هين پرسنٽائل ۾ GPT-3.5 جي مقابلي ۾، جيڪو 10 هين پرسنٽائل ۾ سکور ڪري ٿو. GPT4 پڻ خاص طور تي روايتي ٻولي ماڊل معيارن ۽ ٻين SOTA ماڊلز (جيتوڻيڪ ڪڏهن ڪڏهن تنگيءَ سان) تي پنهنجي اڳڪٿي کان وڌيڪ ڪم ڪري ٿو.
ٻئي ChatGPT ۽ GPT4 اهم حدون ۽ خطرا آهن. GPT-4 سسٽم شيٽ ۾ OpenAI پاران ڪيل خطرن جي تفصيلي ڳولا کان بصيرت شامل آهي.
اهي صرف ڪجهه خطرا آهن جيڪي ٻنهي ماڊل سان لاڳاپيل آهن:
جڏهن ته ChatGPT ۽ GPT-4 ساڳين حدن ۽ خطرن سان وڙهندا آهن، OpenAI خاص ڪوششون ڪيون آهن، جن ۾ ڪيترائي متضاد ٽيسٽون شامل آهن، انهن کي GPT-4 لاءِ گھٽ ڪرڻ لاءِ. جڏهن ته هي حوصلا افزائي آهي، GPT-4 سسٽم شيٽ آخرڪار اهو ظاهر ڪري ٿو ته ChatGPT ڪيترو خطرناڪ هو (۽ شايد اڃا به آهي). نقصانڪار غير ارادي نتيجن جي وڌيڪ تفصيلي وضاحت لاءِ، مان GPT-4 سسٽم شيٽ پڙهڻ جي صلاح ڏيان ٿو، جيڪا صفحي 38 تي شروع ٿئي ٿي. GPT-4 ٽيڪنيڪل رپورٽ .
جڏهن ته اسان ماڊل آرڪيٽيڪچر بابت ٿورڙي ڄاڻون ٿا، ۽ GPT4 جي پويان تربيتي طريقا، اتي ظاهر ٿئي ٿو ChatGPT جو هڪ بهتر نسخو. حقيقت ۾، في الحال GPT4 تصويرون ۽ ٽيڪسٽ ان پٽ قبول ڪرڻ جي قابل آهي، ۽ نتيجا محفوظ، وڌيڪ صحيح ۽ وڌيڪ تخليقي آهن. بدقسمتي سان، اسان کي ان لاء OpenAI جو لفظ وٺڻو پوندو، جيئن GPT4 صرف ChatGPT پلس سبسڪرپشن جي حصي طور موجود آهي.
انهن ماڊلز جي ترقي، خطرن ۽ حدن جي باري ۾ باخبر رهڻ ضروري آهي جيئن اسان وڏي ٻولي جي ماڊلز جي هن دلچسپ پر تيزيءَ سان اڀرندڙ منظرنامي کي نيويگيٽ ڪريون.
BlogInnovazione.it
ڪو به ڪاروباري آپريشن تمام گهڻو ڊيٽا پيدا ڪري ٿو، جيتوڻيڪ مختلف شڪلن ۾. دستي طور هن ڊيٽا کي هڪ Excel شيٽ مان داخل ڪريو ...
ڪمپني جي اي ميلن جو سمجھوتو 2024 جي پهرين ٽن مهينن ۾ ٻيڻو کان وڌيڪ وڌي ويو گذريل چوٿين جي مقابلي ۾…
انٽرفيس سيگريگيشن اصول آبجیکٹ آرينٽيڊ ڊيزائن جي پنجن SOLID اصولن مان هڪ آهي. هڪ ڪلاس هجڻ گهرجي ...
Microsoft Excel ڊيٽا جي تجزيو لاءِ ريفرنس ٽول آهي، ڇاڪاڻ ته اهو ڊيٽا سيٽ کي منظم ڪرڻ لاءِ ڪيتريون ئي خاصيتون پيش ڪري ٿو،…
2017 کان ريئل اسٽيٽ ڪروڊ فنڊنگ جي ميدان ۾ يورپ ۾ اڳواڻن جي وچ ۾ والائنس، سم ۽ پليٽ فارم، مڪمل ٿيڻ جو اعلان ڪري ٿو…
Filament هڪ "تيز رفتار" Laravel ڊولپمينٽ فريم ورڪ آهي، ڪيترن ئي مڪمل اسٽيڪ اجزاء مهيا ڪري ٿو. اهو عمل کي آسان ڪرڻ لاء ٺهيل آهي ...
"مون کي پنهنجي ارتقاء کي مڪمل ڪرڻ لاء واپس اچڻ گهرجي: مان پاڻ کي ڪمپيوٽر جي اندر پروجيڪٽ ڪندس ۽ خالص توانائي بڻجي ويندو. هڪ ڀيرو آباد ٿيو ...
گوگل ڊيپ مائنڊ پنهنجي مصنوعي ذهانت واري ماڊل جو هڪ بهتر ورزن متعارف ڪرائي رهيو آهي. نئون سڌريل ماڊل نه رڳو مهيا ڪري ٿو…
