Google summit 2024 후기

Google AppSheet과 Gemini Pro의 기업 활용 사례

구글의 노코드 앱 개발 플랫폼인 Google AppSheet 이외에도 다양한 버전의 Gemini Pro를 활용한 기업의 활용 사례를 분석할 수 있었습니다. 특히, 기업들이 LLM(대규모 언어 모델)과 MLLM(멀티모달 언어 모델)을 현실에서 어떻게 적용하고 있는지에 대해 강연을 통해 모델의 아키텍처와 활용 사례를 이론적으로 학습하고, 실제 사용을 통해 배울 수 있었습니다. 또한, 구글 현직자들의 설명과 질의응답을 통해 내용을 더욱 깊이 있게 이해할 수 있었습니다.

1. 롯데멤버스의 생성형 AI를 활용한 광고 타겟팅 자동화

롯데멤버스는 생성형 AI를 활용하여 광고 타겟팅 자동화를 진행했습니다. 초기 모델은 타겟 추출 요청 문구와 샘플 검색을 통해 프롬프트 입력을 받아 원하는 결과와 형식을 얻어 광고 타겟 로직과 근거를 설명하도록 구현되었습니다. 그러나 할루시네이션 문제가 발생하였고, 이를 해결하기 위해 멤버스의 DB를 구축한 후 타겟 아이디어, 연관 데이터, 타겟 로직 조건을 자동 생성하는 방향으로 프로젝트를 진행했습니다.

2. Gemini on Vertex를 통한 동식물의 멀티모달 검색 경험

AGI와 MLLM을 적용할 수 있는 멀티모달 검색 시스템 구축 사례도 소개되었습니다. 이 시스템은 기존의 단순 LLM을 사용하는 것보다 더욱 정교하게, 구축된 DB에서 유사한 임베딩 값을 찾아 다양한 LLM 작업을 수행합니다. 추가 데이터를 메타 데이터로 포함시켜 검색 성능을 향상시키는 방식입니다.

환각과 최신성 문제를 해결하기 위한 RAG(재생성 및 답변 생성) 기술의 변화로, 텍스트, 이미지, 그래프 등의 데이터를 증강하고 Modular RAG 방법을 사용하는 Multi-modal RAG가 소개되었습니다. 이를 통해 문서 내 텍스트, 이미지, 그래프를 분리하고, MLLM을 통해 이미지와 그래프의 메타데이터 및 요약 설명을 함께 벡터화할 수 있습니다.

3. 한국 여행 및 관광 콘텐츠를 기반으로 한 여행 컨시어지 에이전트 구축 사례

Google의 생성형 AI를 활용하여 여행 컨시어지 에이전트를 구축한 사례도 공유되었습니다. Multi-modal RAG 패턴의 장점을 활용하여 이미지와 텍스트를 분리하여 전처리한 후, 기존 DB에서 데이터를 찾습니다. Gemini 1.5 Pro를 통해 해당 이미지를 그래프, 그림, 테이블 등의 카테고리로 분류하고, 분류된 이미지의 요약 또는 설명 텍스트를 생성합니다. 생성된 이미지 텍스트 정보와 메타 데이터를 통합 후 벡터 스토어에 저장하며, 이 과정에서 다양한 프롬프트 엔지니어링 기능이 사용되었습니다.

이와 같은 사례들을 통해, 최신 AI 기술이 어떻게 실제 비즈니스와 생활에 적용되고 있는지에 대해 심도 있게 배울 수 있었습니다.

 

- 참조영상: https://www.youtube.com/watch?v=cmbJVGkJ2hI