최근 몇 개월 동안 혁신적인 대규모 언어 모델이 출시된 속도는 놀랍습니다. 이 기사에서는 교육 방법, 성능, 기능 및 제한 사항을 포함하여 GPT4와 ChatGPT의 주요 유사점과 차이점을 다룰 것입니다.
GPT4 및 ChatGPT는 이전 버전의 GPT 모델을 기반으로 모델 아키텍처를 개선하고 보다 정교한 교육 방법을 사용하며 더 많은 교육 매개변수를 사용합니다.
두 디자인 모두 인코더를 사용하여 입력 시퀀스를 처리하고 디코더를 사용하여 출력 시퀀스를 생성하는 트랜스포머 아키텍처를 기반으로 합니다. 인코더와 디코더는 메커니즘으로 연결되어 있어 디코더가 가장 중요한 입력 시퀀스에 더 주의를 기울일 수 있습니다.
GPT4 기술 보고서 of OpenAI는 "competitive landscape and the safety implications of large-scale models". 우리가 아는 것은 GPT4와 ChatGPT가 유사하게 훈련될 가능성이 있다는 것입니다. 이는 GPT-2 및 GPT-3에 사용되는 훈련 방법과는 상당한 차이가 있습니다. 우리는 GPT4보다 ChatGPT의 교육 방법에 대해 더 많이 알고 있으므로 여기서부터 시작하겠습니다.
ChatGPT는 인간 주석자가 특정 요청에 대한 응답으로 챗봇 어시스턴트의 예상 출력을 시연하는 데모 데이터를 포함한 대화 데이터 세트로 훈련됩니다. 이 데이터는 감독 학습으로 GPT3.5를 조정하는 데 사용되어 요청이 제공될 때 여러 응답을 생성하는 데 사용되는 정책 모델을 생성합니다. 그런 다음 휴먼 애노테이터는 주어진 프롬프트에 대한 응답 중 가장 좋은 결과를 얻은 응답을 분류하여 보상 모델을 교육하는 데 사용합니다. 그런 다음 보상 모델은 강화 학습을 사용하여 정책 모델을 반복적으로 미세 조정하는 데 사용됩니다.
ChatGPT는 다음을 사용하여 학습됩니다. 사람의 피드백을 통한 강화 학습 (RLHF), 교육 중에 언어 모델을 개선하기 위해 사람의 피드백을 통합하는 방법입니다. 이를 통해 모델 출력은 GPT-3과 같은 일반 학습 데이터 본문을 기반으로 문장의 다음 단어를 예측하는 것이 아니라 사용자가 요청한 활동에 맞출 수 있습니다.
OpenAI는 아직 GPT4를 훈련시킨 방법에 대한 세부 정보를 공개하지 않았습니다. 그들의 기술 보고서에는 "details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar". 우리가 아는 것은 GPT4가 훈련된 변압기 스타일 생성 다중 모드 모델이라는 것입니다. 공개적으로 사용 가능한 데이터와 라이선스가 부여된 타사 데이터 모두에서 RLHF를 사용하여 미세 조정됨. 흥미롭게도 OpenAI는 업데이트된 RLHF 기술에 대한 세부 정보를 공유하여 모델 응답을 보다 정확하고 안전 가드레일 밖으로 표류할 가능성을 줄였습니다.
정책 모델을 교육한 후(ChatGPT에서와 같이) RLHF는 적대적 교육에 사용됩니다. 이 과정은 악의적인 사례에 대해 모델을 교육하여 향후 이러한 사례로부터 보호하도록 모델을 속이는 것입니다. GPT4의 경우 전문가들은 모순된 요구에 대한 정치 모델의 대응을 평가합니다. 그런 다음 이러한 응답은 정책 모델을 반복적으로 개선하는 추가 보상 모델을 교육하는 데 사용되어 위험하거나 회피하거나 부정확한 응답을 제공할 가능성이 적은 모델을 생성합니다.
기능면에서 ChatGPT와 GPT4는 다른 점보다 더 비슷합니다. 이전 버전과 마찬가지로 GPT-4도 사용자와 일치하는 것을 목표로 하는 대화 스타일로 상호 작용합니다. 아래에서 볼 수 있듯이 광범위한 질문에 대한 두 모델 간의 답변은 매우 유사합니다.
OpenAI는 모델 간의 차이가 미묘할 수 있다는 데 동의하며 "작업의 복잡성이 충분한 임계값에 도달하면 차이가 나타납니다"라고 말합니다. GPT4 기본 모델이 훈련 후 단계에서 수행한 XNUMX개월 간의 적대적 훈련을 감안할 때 이것은 아마도 정확한 특성화일 것입니다.
텍스트만 허용하는 ChatGPT와 달리 GPT4는 이미지 및 텍스트 프롬프트를 모두 허용하여 텍스트 응답을 반환합니다. 안타깝게도 이 글을 쓰는 시점에서 이미지 입력을 사용하는 기능은 아직 공개되지 않았습니다.
위에서 언급했듯이 OpenAI는 ChatGPT가 조정된 GPT-4에 비해 GPT3.5의 보안 성능이 크게 향상되었다고 보고합니다. 그러나 현재 다음 여부는 불분명합니다.
GPT4 모델 자체 또는 추가 모순 테스트 때문입니다.
또한 GPT4는 사람이 치르는 대부분의 학업 및 전문 시험에서 CPT-3.5를 능가합니다. 특히 GPT4는 Uniform Bar 시험에서 90번째 백분위수를 기록하고 GPT-3.5는 10번째 백분위수를 기록합니다. GPT4는 또한 기존 언어 모델 벤치마크 및 기타 SOTA 모델에서 이전 모델보다 훨씬 뛰어난 성능을 보입니다(때로는 좁게도).
ChatGPT와 GPT4 모두 상당한 제한과 위험이 있습니다. GPT-4 시스템 시트에는 OpenAI에서 수행한 위험에 대한 자세한 탐색에서 얻은 통찰력이 포함되어 있습니다.
다음은 두 모델과 관련된 위험 중 일부에 불과합니다.
ChatGPT와 GPT-4가 동일한 제한과 위험으로 어려움을 겪는 동안 OpenAI는 GPT-4에 대해 이를 완화하기 위해 수많은 상충되는 테스트를 포함하여 특별한 노력을 기울였습니다. 이는 고무적이지만 GPT-4 시스템 시트는 궁극적으로 ChatGPT가 얼마나 취약했는지(아마도 여전히 취약한지)를 보여줍니다. 유해한 의도하지 않은 결과에 대한 자세한 설명을 보려면 GPT-4 시스템 시트를 읽는 것이 좋습니다. GPT-4 기술 보고서 .
모델 아키텍처와 GPT4의 교육 방법에 대해서는 거의 알지 못하지만 ChatGPT의 개선된 버전이 있는 것으로 보입니다. 실제로 현재 GPT4는 이미지와 텍스트 입력을 수용할 수 있으며 결과는 더 안전하고 정확하며 창의적입니다. 안타깝게도 GPT4는 ChatGPT Plus 구독의 일부로만 제공되므로 OpenAI의 말을 믿어야 합니다.
대규모 언어 모델의 흥미롭지만 빠르게 진화하는 환경을 탐색하려면 이러한 모델의 진행 상황, 위험 및 제한 사항에 대한 정보를 유지하는 것이 필수적입니다.
BlogInnovazione.it
Google DeepMind는 인공 지능 모델의 향상된 버전을 선보입니다. 새롭게 개선된 모델은 다음과 같은 기능을 제공할 뿐만 아니라…
Cisco와 Splunk는 다음을 통해 고객이 미래의 보안 운영 센터(SOC)로의 여정을 가속화할 수 있도록 지원합니다.
카타니아 폴리클리닉에서 Apple Vision Pro 상업용 뷰어를 이용한 안과성형 수술이 진행되었습니다…
색칠을 통해 소근육 운동 능력을 키우면 아이들이 글쓰기와 같은 보다 복잡한 기술을 준비할 수 있습니다. 색칠하다…
지난 월요일, Financial Times는 OpenAI와의 계약을 발표했습니다. FT는 세계적 수준의 저널리즘에 라이선스를 부여합니다…
