메타, 최신 AI 모델 '라마 3.1' 출시…AI 경쟁 가속화 (개인 소감 위주)

페이스북 모회사인 메타에서 LLM 최신 버전인 3.1을 공개했습니다. 

뉴스에 따르면 라마3.1이 AI 모델 평가 테스트인 MMLU의 여러(?) 평가 항목에서 GPT-4o와 Claude3.5를 능가했다고 하는데요.

개인적으로는 Claude 3.5 소넷 버전을 선호하고 주로 사용하는데 이를 능가한다니 바로 기존 3.0 지우고 3.1을 설치해봤습니다.

3가지 모델로 출시되어, Parameter 개수가 405B인 버전이 새로 나왔습니다.  매개변수가 700억개인 70B와 8B 버전 이렇게 3개이 있습니다.

라마3의 가장 큰 장점은 오픈소스로 다운로드 받아서 PC에서 직접 실행할 수 있다는 점입니다. GPT-4o나 Claude 3.5는 다운로드가 되지 않습니다.

혹시 파라미터 70B 버전을 실행해 보고 싶다 하는 분은 일단 말리겠습니다. 다운로드 해야하는 모델도 40GB 정도 되지만, 실행속도가 보통 PC에서는 느리기 때문에 욕심 부리지 마시고 그냥 8B 버전이 현실적인 선택입니다. 70B 모델을 받아서 Hi라고 인사했다가 답변 나오는 속도가 너무 느려서 바로 8B 버전으로 넘어왔습니다. (Windows 11, AMD 5700X3D, DDR4 RAM 64GB, NVidia 4070 Ti 환경)

참고로, 아무 옵션 없이 그냥 다운로드 받으면 8B 버전이 기본입니다.

혹시 한글도 잘 하나요? 가 궁금하시면 아래가 질문과 답변입니다.

ollama 3.1 8B 모델로, 이렇게 명령어프롬프트 화면에서 대화하는 방식입니다. 노래도 불러보라고 했습니다.

개인적 느낌은 영어로 대화하는 것 보다는 살짝 느리다는 느낌입니다.