사진·음성·코드를 하나로 묶는다?
구글 EmbeddingGemma 2 핵심 총정리
"기기 안에서 사진과 녹음 파일을
텍스트처럼 빠르게 찾을 수는 없을까?"
온디바이스 AI 개발하면서 다들 한 번쯤
이런 고민과 갈증 느껴보셨죠?
지금까지는 이미지를 텍스트로 바꾸고,
음성을 다시 받아적는 번거로운 파이프라인 때문에
메모리도 터지고 지연 시간도 너무 길었거든요.
그런데 구글 딥마인드가 바로 며칠 전,
판도를 완전히 바꿀 EmbeddingGemma 2를 전격 공개했습니다!
이제 번거로운 변환 없이 모든 데이터를
하나의 공유 벡터 공간에 담을 수 있게 되었어요.
1. 텍스트 전용에서 '진짜 멀티모달'로의 진화
작년에 출시되었던 1세대 EmbeddingGemma는
308M 크기의 텍스트 전용 모델이었습니다.
글로벌 다운로드 2,000만 회를 돌파하며
엄청난 인기를 누렸던 명작이었죠.
하지만 이번 EmbeddingGemma 2는 차원이 다릅니다.
텍스트, 코드뿐만 아니라 이미지, 영상,
음성까지 단일 768차원 공간에 함께 담아냅니다.
- 단일 공유 벡터 공간: 이미지나 음성을 텍스트로 바꾸지 않고 다이렉트로 임베딩
- 컨텍스트 창 4배 확장: 기존 2K에서 8,192(8K) 토큰으로 대폭 확대
- 코드 검색 성능 급상승: MTEB Code 벤치마크 점수가 무려 9.92점 상승(78.68)
- 상업적 자유도: 완전 오픈소스인 Apache 2.0 라이선스 적용
그래서 로컬 코드베이스 검색이나 개인 사진첩,
음성 녹음 파일을 뒤적일 때 체감 성능이 엄청납니다.
2. 레고 블록처럼 갈아 끼우는 모듈형 아키텍처
"멀티모달 모델이면 온디바이스에서
메모리를 너무 많이 먹는 것 아닐까요?"
솔직히 이런 걱정 먼저 드셨을 거예요.
그런데 구글이 정말 기가 막힌 설계를 채택했습니다.
바로 필요한 모달리티만 메모리에 올리는
모듈형 인코더 방식을 도입했거든요!
• 텍스트 + 비전(이미지/영상): 440M (170M 비전 인코더 결합)
• 텍스트 + 오디오(음성): 570M (300M 오디오 인코더 결합)
• 전체 모달리티 통합: 740M (모든 인코더 탑재)
• 토큰 입력 비율: 이미지 장당 280토큰, 음성 초당 25토큰
그래서 텍스트만 다룰 때는 270M만 올려서
메모리 낭비를 제로 수준으로 줄일 수 있습니다.
나중에 비전 모듈을 붙여도 벡터 공간이 같아서
기존 텍스트 임베딩을 다시 계산할 필요가 없더라고요!
3. 마트료시카 압축(MRL)과 실전 구축 체크리스트
벡터 데이터베이스 용량 비용도 걱정되시죠?
이 모델은 마트료시카 표현 학습(MRL)을 지원해서
768차원을 512, 256, 128차원으로 뚝 잘라 쓸 수 있습니다.
• 256차원 적용 시: 성능 손실을 3~5% 내외로 방어하면서 벡터 DB 용량 3배 절감
• 128차원 적용 시: 용량은 최대 6배(약 250MB/100만건) 줄어드나 멀티모달 점수는 하락
차원을 잘라낼 때는 반드시 L2 정규화(L2 Normalization)를 다시 해줘야 합니다. 이를 빠뜨리면 에러 코드 없이 검색 순위 품질만 조용히 망가져버리거든요. 또한 128차원은 멀티모달보다는 순수 텍스트 환경에 권장됩니다.
☑ 필수 L2 정규화: MRL 벡터 슬라이싱 후 단위 벡터 재계산 로직 삽입
☑ Gemma 4 토크나이저 연동: 온디바이스 생성 모델과 토크나이저 메모리 공유 확인
☑ 런타임 도구 점검: LiteRT, MediaPipe, sentence-transformers 라이브러리 최신화
상업적으로 자유로운 Apache 2.0에
모바일과 엣지 디바이스를 겨냥한 초경량 설계까지.
스마트폰과 PC 위에서 돌아가는
오프라인 멀티모달 검색을 기획 중이시라면,
지금 바로 EmbeddingGemma 2로
프로젝트를 시작해 보세요. 정말 강력한 무기가 될 테니까요!
댓글 없음:
댓글 쓰기