사카나 AI, 일본 전통 예술 '우키요에' 이미지 생성하는 모델 출시

트랜스포머 논문 저자가 일본에 설립한 스타트업 사카나 AI가 새로운 이미지 생성 인공지능(AI) 모델을 출시했다. 이 모델은 일반적인 이미지를 생성하는 대신, 일본의 전통 예술인 '우키에요(浮世絵)' 스타일에 맞게 현지화한 것이 특징이다.

벤처비트는 22일(현지시간) 사카나 AI가 일본의 전통 예술 우키요에 스타일로 이미지를 생성하는 모델 ▲에보-유키에오(Evo-Ukieo) ▲에보-니시키에(Evo-Nishikie)를 출시했다고 보도했다.

우키요에는 1600년대 초부터 역사적 장면, 풍경, 스모 선수 등과 같은 주제를 다루며 일본을 대표하는 예술로 발전했다. 원래 단색 목판화로 시작했지만, 여러 개의 목판을 사용한 다채로운 '니시키에(錦絵)'로 발전했다. 19세기에 들어서면서 디지털 사진의 등장 등 여러 요인으로 인해 우키요에의 인기는 하락했다.

첫번째 모델인 에보-유키에오는 우키요에와 매우 유사한 이미지를 생성하는 텍스트-이미지 서비스로, 벚꽃이나 기모노, 새 등 우키요에 예술에서 흔히 볼 수 있는 요소를 설명하는 텍스트 입력에 따라 이미지를 생성한다.

이 모델은 사카나의 '병합 진화 모델(Evolutionary Model Merge)'을 통해 스태빌리티 AI의' 스테이블 디퓨전 XL' 모델과 기타 오픈 소스 확산 모델들을 조합한 '에보-SDXL-JP' 모델을 기반으로 한다. 병합 진화 모델 기법은 여러 AI 모델의 장점만을 골라 파운데이션 모델을 자동으로 생성, 이 방법을 반복하며 세대를 거쳐 정확도를 높이는 방식이다.

여기에 2만4000개 이상의 우키요에 작품 데이터셋으로 미세조정했다. 

두번째 모델인 에보-니시키에는 이미지-이미지 서비스로, 단색 우키요에 판화에 색을 입힌다.

이 모델은 한가지 잉크로 인쇄된 삽화에 컬러를 추가하거나, 기존의 다채로운 니시키에 판화에 완전히 새로운 모습을 부여할 수 있다. 사용자는 원본 이미지와 색칠할 요소를 설명하는 지침을 함께 제공하기만 하면 된다.

에보-니시키에는 컨트롤넷(ControlNet)을 통해 고정된 프롬프트와 조건 이미지를 사용하여 에보-유키에오를 미세조정했다. 컨트롤넷은 확산 모델에서 원본 이미지의 형태를 유지한 채 디테일을 변경하는 도구다. 

사카나 AI는 트랜스포머 저자 중 마지막으로 구글을 떠난 릴리언 존스가 설립했다.당시 진로에 대해 많은 관심이 모였는데, 의외로 구글 재직시 머물렀던 일본에 남았다.

그리고 올초에는 일본어 전문 모델을 출시하기도 했다. 미국에 비해 경쟁이 덜 치열하고, 일본어 대형언어모델(LLM) 수요가 많다는 이유 때문이었다.

현재 에보-유키에오와 에보-니시키에 모델은 허깅페이스에서 연구 목적으로 사용가능하다.