다양한 IT뉴스를 읽고 흥미로운 기사를 공유해요
OpenAI, GPT OSS 시리즈 모델을 오픈소스로 공개
AI 발전의 역사에서 오픈소스와 클로즈드소스 모델 간의 경쟁은 항상 주목받아 왔습니다. 최근 OpenAI는 GPT-2 이후 처음으로 오픈소스 대형 언어 모델인 GPT OSS 시리즈 모델을 공개했습니다. 이는 OpenAI가 오픈소스 생태계에서 중요한 한 걸음을 내디딘 것을 의미합니다.
모델 다운로드 링크:
공식 블로그 링크:
모델 개요: 두 가지 규모
GPT OSS 시리즈는 두 가지 주요 버전으로 구성됩니다: gpt-oss-120b와 gpt-oss-20b. 이름에서 알 수 있듯이 전자는 117억 개의 총 매개변수를, 후자는 21억 개의 매개변수를 갖습니다. 그러나 흥미로운 설계 포인트가 있습니다—두 모델 모두 전문가 혼합(MoE) 아키텍처를 채택했으며, 실제로 활성화되는 매개변수 수는 각각 51억과 36억에 불과합니다.이 설계의 직접적인 장점은 강력한 성능을 유지하면서 계산 및 메모리 요구 사항을 크게 줄인 점입니다.
특히 주목할 점은 120B 모델이 단일 80GB H100 GPU에서 실행 가능하며, 20B 모델은 16GB 메모리만으로 실행될 수 있다는 점입니다. 이는 일반 개발자도 소비자급 하드웨어에서 최상위 AI 모델에 가까운 성능을 경험할 수 있음을 의미하며, 이는 과거에는 상상하기 어려웠던 것입니다.
기술 아키텍처: 효율성과 성능의 균형
기술적 측면에서 GPT OSS는 다양한 고급 최적화 전략을 채택했습니다. 모델은 위치 정보를 처리하기 위해 회전 위치 인코딩(RoPE)을 사용하며, 128K의 컨텍스트 길이를 원생 지원합니다. 주의 메커니즘 측면에서는 전체 컨텍스트 주의와 슬라이딩 윈도우 주의를 번갈아 사용해 장거리 의존성을 포착하면서도 계산 복잡도를 제어합니다.
특히 주목할 만한 점은 모델의 양자화 기술입니다. GPT OSS는 4비트 양자화 MXFP4 형식을 사용하며, 이 양자화 방식은 Hopper 및 Blackwell 시리즈 GPU에서 우수한 성능을 보여줍니다. MXFP4를 지원하지 않는 하드웨어에서는 모델이 자동으로 bfloat16 형식으로 회귀하여 광범위한 호환성을 보장합니다.
최적화 측면에서 모델은 Flash Attention 3, MegaBlocks MoE 커널 등 다양한 가속 기술을 지원합니다. 다양한 하드웨어 환경에 따라 사용자는 최적의 성능을 위해 가장 적합한 최적화 조합을 선택할 수 있습니다.
아래는 최적화의 요약
CoT 사고 과정
OpenAI의 연구 결과, 훈련 과정에서 모델의 사고 과정을 직접적인 “정렬 감독”(즉, 모델의 사고 과정을 인위적으로 개입하고 수정하는 것)을 적용하면 모델의 이상 행동을 탐지하는 능력이 저하됩니다. 다른 말로 하면, 모델에게 “어떻게 생각하는 것이 옳은지”를 가르치면 모델은 실제 사고 과정을 숨길 수 있게 되며, 이로 인해 유해한 추론을 수행하고 있는지 파악하기 어려워집니다.
따라서 OpenAI는 GPT OSS 모델의 사고 체인에 직접적인 감독을 적용하지 않고, 사고 체인의 “원시성”을 유지하여 모델의 사고 과정이 상대적으로 “원시적”인 상태를 유지하도록 했습니다. 이 접근 방식의 목적은 모델의 사고 체인을 관찰함으로써 다음과 같은 것을 보장하기 위함입니다:
- 모델의 이상 행동을 탐지
- 잠재적인 속임수 행동을 발견
- 가능한 악용 사례를 식별
성능 성능: 최상위 모델과 맞먹는 수준
OpenAI는 gpt-oss-120b와 gpt-oss-20b를 표준 학술 벤치마크 테스트에서 평가하여 프로그래밍, 경진대회 수학, 의료 및 지능형 도구 사용 측면에서의 능력을 측정했으며, 다른 OpenAI 추론 모델(o3, o3-mini, o4-mini)과 비교했습니다.
Gpt-oss-120b는 경쟁 프로그래밍 (Codeforces), 일반 문제 해결 (MMLU 및 HLE), 도구 호출 (TauBench) 분야에서 OpenAI o3-mini보다 우수하며, OpenAI o4-mini와 동등하거나 그 성능을 초과합니다.또한 건강 관련 쿼리(HealthBench)와 경진대회 수학(AIME 2024 및 2025) 분야에서 o4-mini보다 우수한 성능을 보여주었습니다.
gpt-oss-20b는 규모가 작음에도 불구하고 동일한 평가에서 OpenAI o3-mini와 동등하거나 우월한 성능을 보였으며, 특히 경진대회 수학과 의료 분야에서 더 우수한 성능을 발휘했습니다.
도구 사용
현대 AI 응용 프로그램은 모델이 도구 호출 기능을 갖추는 것이 점점 더 중요해지고 있으며, GPT OSS는 이 부분에서도 특별히 최적화되었습니다. 모델은 브라우저와 Python 인터프리터와 같은 내장 도구를 지원하며, 사용자가 정의한 도구도 사용할 수 있습니다. Tau-Bench 도구 호출 평가에서 모델은 우수한 함수 호출 능력을 보여주었습니다.
모델의 채팅 템플릿은 유연한 도구 통합 솔루션을 제공하며, 개발자는 간단한 매개변수 설정을 통해 다양한 도구를 활성화할 수 있습니다. 모델이 도구를 호출할 때 표준화된 도구 호출 요청을 생성하여 시스템 통합 및 처리가 용이합니다.
모델이 특정 도구를 호출하기로 결정한 경우(<|call|>로 끝나는 메시지로 표시됨), 해당 도구 호출을 채팅에 추가하고 도구를 호출한 후 도구 결과를 채팅에 추가하고 다시 생성해야 합니다:
배포 생태계
OpenAI는 Hugging Face 등 파트너사와 함께 완전한 배포 생태계를 구축했습니다. 사용자는 Inference Providers 서비스를 통해 모델에 빠르게 접근할 수 있으며, Cerebras, Fireworks AI 등 다중 추론 제공업체를 지원합니다. 로컬 배포 시 모델은 transformers, vLLM, llama.cpp 등 다양한 추론 프레임워크를 지원합니다.
클라우드 배포 측면에서 모델은 Azure AI Model Catalog 및 Dell Enterprise Hub 등 기업용 플랫폼에 통합되어 기업 사용자에게 안전하고 신뢰할 수 있는 배포 옵션을 제공합니다.
오픈소스 라이선스
GPT OSS는 Apache 2.0 라이선스로 공개되었습니다. 이는 상당히 유연한 오픈소스 라이선스입니다. 동반된 사용 정책도 간결하며, 사용자가 적용 가능한 법규를 준수하는 것을 주요 조건으로 합니다. 이는 상업적 활용의 장애물을 제거합니다.
이 개방적인 라이선스 전략은 OpenAI가 오픈소스 생태계에 대한 중요성을 강조하며, AI 커뮤니티의 발전에 새로운 활력을 불어넣고 있습니다.개발자는 이 모델을 자유롭게 사용, 수정 및 배포할 수 있으며, 이는 더 많은 혁신적인 응용 프로그램의 출현을 촉진할 것입니다.
안전 고려 사항
책임 있는 AI 기업으로서 OpenAI는 오픈소스 모델을 출시할 때 안전 요소를 충분히 고려했습니다. 모델은 포괄적인 안전 훈련과 평가를 거쳤으며, 《안전 대비 프레임워크》를 통해 추가 안전 테스트를 통과했습니다.
GPT OSS는 내부 안전 벤치마크 테스트에서 OpenAI의 최첨단 모델과 유사한 성능을 보여주었으며, 이는 개발자에게 신뢰할 수 있는 안전 보장을 제공합니다.또한 OpenAI는 외부 전문가와 협력하여 안전 방법론을 검토했으며, 오픈소스 모델을 위한 새로운 안전 기준을 설정했습니다.
미래 전망
GPT OSS의 공개는 단순히 OpenAI의 제품 출시를 넘어 AI 산업 전체의 전환점이 될 것입니다. 이는 오픈소스 모델도 상업용 수준 성능을 달성할 수 있음을 입증했으며, 더 많은 개발자와 연구자가 최첨단 AI 기술에 접근할 수 있는 기회를 제공합니다.
이러한 모델의 확산과 함께, GPT OSS를 기반으로 한 혁신적인 응용 프로그램이 더 많이 등장할 것으로 기대됩니다. 개인 개발자의 창의적인 프로젝트부터 기업용 AI 솔루션까지, 이번 오픈소스화는 다양한 분야에서 혜택을 가져올 것입니다.
AI 생태계 전체에 있어 OpenAI의 이 같은 조치는 더 많은 기업이 자체 모델을 공개하도록 촉진해 건전한 경쟁과 협력의 분위기를 조성할 수 있습니다. 이는 결국 AI 기술의 확산과 적용을 가속화해 더 많은 사람들이 AI 발전의 혜택을 누릴 수 있도록 할 것입니다.
- 선택됨
