다양한 IT뉴스를 읽고 흥미로운 기사를 공유해요
Altman이 GPT-5 실측 결과를 처음으로 공개했습니다! 슈퍼 정렬 팀의 '유산'을 사용했다는 의혹이 제기되었습니다.
최신 실측 결과는 Altman 본인이 직접 공개했으며, 즉시 많은 이들의 관심을 끌었습니다.
일주일 동안 계속된 암시 끝에, 대화 내용은 드라마 추천에 국한되었지만, 적어도 공식 사례는 확인되었습니다.
물론 Altman 본인은 정보를 공개하는 동시에 새로운 힌트를 남겼습니다┓( ´∀` )┏：
SaaS 패스트 패션 시대가 다가오고 있습니다.
이처럼 오스키 조작보다 더 흥미로운 점은, 이번에는 눈치 빠른 네티즌이 공개 시간(초속 삭제 버전)을 캡처했다는 점입니다???
좋아, 이번 주 밤은 버텨야겠네요, 친구들.
더 많은 세부 사항이 ‘유출’ 중
Altman의 지속적인 공식 정보 공개 외에도, GPT-5에 대한 다양한 소식이 점차 정리되어 핵심 흐름이 드러나고 있습니다.
예를 들어, 주요 경쟁사 Claude가 선두를 달리고 있는 프로그래밍 분야에서 GPT-5가 코딩 규칙을 재작성했다는 보도입니다.
첫째, 텍스트 능력과 추론층을 결합해 모델이 더 합리적으로 ‘생각하는’ 시점을 선택하도록 학습했습니다.
둘째, GPT-5는 실제 공학 문제를 처리할 수 있는 능력을 갖추었으며, 예를 들어 '코드의 산'을 재구성하는 등…
더 주목할 만한 점은, 내부 관계자에 따르면 GPT-5가 Ilya가 이끄는 슈퍼 얼라인먼트 팀의 '유산'인
유니버설 검증기(Universal Verifier)를 사용했다는 점입니다.
이 논문은 2024년 7월에 처음 발표되었으며, 이는 Ilya가 OpenAI를 떠났다고 공식 발표한 지 2개월 후입니다.
알다시피, Ilya가 '초지능 통제'를 위해 직접 설립한 슈퍼 얼라인먼트 팀은 그가 팀장인 Jan Leike와 함께 떠난 후 신속히 해체되었습니다.
최근 OpenAI 최고 연구 책임자 마크 첸은 이 문제에 대해 설명했습니다.
그는 정렬 연구가 OpenAI의 핵심 업무에 통합되었으며, 모델이 예상대로 작동해야 효과를 발휘할 수 있다고 강조하며, 현재는 가설적인 초지능이 아닌 기존 모델의 정렬에 더 집중해야 한다고 밝혔습니다.
더 직설적으로 말하면, 일리아 일파와 현재 OpenAI는 의견이 맞지 않아 협력하기 어려운 상황입니다.
현재 이 논문의 6명 저자 중 OpenAI에 남아 있는 사람은 Yining Chen과 Nat McAleese뿐입니다.
초고도 정렬 팀 기술 사용
소문은 접어두고, “일반 검증자”의 구체적인 역할을 살펴보겠습니다.
소식에 따르면 OpenAI는 GPT-5 개발 과정에서 일반 검증자를 강화 학습에 도입해 모델이 높은 정확도를 유지하면서 더 명확한 추론 과정을 출력하도록 했습니다.
슈퍼 얼라인먼트 팀이 발표한 논문에서 그들은 “증명자-검증자 게임”이라는 훈련 방법을 제안했습니다. 간단히 말해 모델 내부에 증명자와 검증자 두 가지 역할을 나누고, 서로 지속적으로 대결하도록 합니다:
- “신뢰할 수 있는 증명자”는 올바른 문제 해결 단계를 제시하고 검증자의 승인을 받습니다.
- “교활한 증명자”는 고의로 잘못된 단계를 제시하고 검증자를 속이려고 시도합니다.
- 소형 ‘검증자’는 정확한 해결 방안과 오류가 있는 방안을 구분하는 역할을 담당합니다.
증명자와 검증자 모델은 모두 GPT-4 시리즈에서 파생되었으며, 검증자의 규모가 증명자보다 작아야 합니다. 이는 소형 검증자가 일정 수준에서 인간 검증 결과와 일치하도록 보장하기 위함입니다.
다양한 역할의 역할을 정량화하기 위해 증명자와 검증자의 효용 함수를 각각 설정합니다.
증명자 효용은 보상 함수에 기반하며, “신뢰할 수 있는 증명자”에게는 해결 방안의 정확성과 검증자 평가 점수와 양의 상관관계가 있는 보상을, “교활한 증명자”에게는 해결 방안의 오류와 검증자 평가 점수와 양의 상관관계가 있는 보상을 제공합니다.
보상 함수는 두 가지 요구사항을 충족해야 합니다. 역할이 일치하는 방안(예: “신뢰할 수 있는 증명자”가 정답을 생성하는 경우)은 일치하지 않는 방안보다 높은 보상을 받으며, 일치하는 방안에서 검증자 평가 점수가 높을수록 보상도 증가합니다.
검증자의 효용은 교차 엔트로피 손실 최소화를 통해 판단 오차를 측정합니다.
이후 다중 반복 훈련을 진행하여 증명자가 강화 학습(PPO)을 통해 최적화되도록 합니다. 증명자는 각 역할에 따라 보상을 최대화하도록 학습하며, 검증자는 올바른 솔루션과 오류가 있는 솔루션을 더 잘 구분하는 방법을 학습합니다.
실험 결과, 각 훈련 단계에서 “신뢰할 수 있는”과 ‘교활한’ 증명자는 검증자의 점수를 단조롭게 향상시켰으며, “신뢰할 수 있는 증명자”의 정확도는 전반적으로 상승 추세를 보였습니다. 반면 “교활한 증명자”는 잘못된 답변 생성 비율이 초기에는 감소하다가 이후 증가하는 경향을 보였지만, 최종적으로 정답과 유사한 설득력을 가진 잘못된 솔루션을 생성할 수 있었습니다.
다중 라운드 대항 훈련 후, “신뢰할 수 있는 증명자”의 정확도와 “검증자”의 간섭 저항 능력은 지속적으로 향상되며, 모델은 더 정확하고 읽기 쉬운 출력을 생성합니다. 그러나 동시에 모델은 더 속임수가 많은 잘못된 답변을 생성할 수 있습니다.
이 기술을 기반으로 GPT-5는 각 답변에 점수를 부여하고 올바른 답변만 유지해 반복 훈련을 진행해 검증 가능한 읽기 쉬운 답변을 생성할 수 있습니다. 이후 인간이 모델의 고급 추론을 완전히 이해하지 못하더라도 확장 가능한 소형 검증기를 통해 검증 가능성 제약을 구축할 수 있습니다.
One More Thing
Altman은 과도한 홍보 전략을 펼치며, 작은 홍보 전략을 연이어 선보이고 있습니다.
온라인에는 진위 여부가 엇갈리는 정보가 넘쳐나고 있습니다.
실제 테스트 영상을 공개한 곳도 있습니다:
기준을 예측한 곳도 있습니다:
비관적인 전망도 있습니다.
The Information은 GPT-5 개발이 큰 어려움을 겪고 있다고 보도했습니다. 한쪽에서는 고품질 훈련 데이터 공급 부족, 다른 쪽에서는 대규모 사전 훈련의 수익 감소로 인해 GPT-5의 성능 향상은 GPT-3에서 GPT-4로 넘어갈 때처럼 명확한 도약을 보이지 않을 것이라고 지적했습니다.
또한 모델 성능 전환의 격차 문제도 존재합니다. 예를 들어 o3는 내부 테스트에서 매우 강력한 성능을 보여주었지만, 실제 사용자 배포 후 성능이 크게 하락했습니다.
네티즌들이 지적하듯, 이전 모델들과 마찬가지로 GPT-5도 출시 후 1주 만에 성능이 떨어질 수 있습니다.
어쨌든 GPT-5는 이미 준비가 완료되었으니, OpenAI는 출시하지 않을 수 없을 것 같습니다.
참고 링크:
[1]https://x.com/sama/status/1952071832972186018
[2]https://arxiv.org/abs/2407.13692
- 선택됨
