llm2 Microsoft에서 발표한 Phi-4 SLM 에 관하여 더보기 2024년 12월 발표한 Phi-4는 기존 Phi 모델들과 같이, 경량화 모델에 초점을 두었습니다. Phi-4는 140억 개의 매개 변수를 가진 고품질 모델로 STEM 중심의 Q&A 문제에 대해 GPT-4 를 능가하는 성능을 보인다고 발표를 하였습니다. 주요 특징들을 정리해 보면 아래와 같습니다. 데이터 생성 및 학습 합성 데이터 (Synthetic Data) 활용: 합성 데이터를 사용해 추론 중심 작업에서 성능을 극대화. multi-agent 프롬프팅, self-revision workflows 등의 기술로 생성. 효율적 학습 설계: 학습 커리큘럼과 데이터 혼합 비율을 최적화해 더 나은 성능 확보. DPO & SFT 지도 학습(SF.. 2025. 1. 14. 간단한 BERT 모델을 이용하여 GPT 챗봇 성능 높이기 개인 챗봇을 만들어 운영하던 도중 쉽고 재밋는 방법을 구현하게되어 공유하고자 글은 씁니다. GPT의 인기가 높아지면서, 많은 기업과 개인이 언어 모델을 활용하려는 시도를 보게 됩니다. 여러 프로젝트를 진행하며, 프로젝트가 발전해가는 과정에서 종종 간과되기 쉬운, 그러나 매우 중요한 요소가 바로 '프롬프트'입니다. 프롬프트는 언어 모델을 제어하는 데 도움을 주며, 그 사용법에 따라 매우 다양한 결과를 낳을 수 있습니다. 그런데, 프롬프트는 프로젝트의 복잡도가 높아질수록 길어지기 마련이고, 이 때 여러 프롬프트가 서로 엉키게 되면, 오히려 간결한 프롬프트보다 효과가 떨어질 수 있습니다. 이런 문제를 해결하기 위해, 개인 챗봇에 사용되는 점점 길어지는 프롬프트를 관리하는 방법으로 '프롬프트 선택기(Prompt.. 2023. 11. 23. 이전 1 다음 반응형
