2024 EMNLP 학회 후기

2024/11/12 - 2024/11/16

 

1. 느낀점 

이번 EMNLP 2024 참석은 저에게 큰 의미가 있었습니다. 1년간 개발한 모델을 학술적으로 인정받아 발표하는 자리였기에 긴장과 설렘 속에서 시작했지만, 결과적으로 많은 배움과 성취를 얻을 수 있었습니다. 단순 참관이 아닌 논문 발표와 네트워킹을 통해 최신 NLP 기술 트렌드를 깊이 탐구할 수 있었던 뜻깊은 시간이었습니다.

 

학회에서 가장 흥미로웠던 발표는 LLM의 페르소나 활용 연구였습니다. 페르소나 부여가 모델 성능에 긍정적 영향을 줄 수도, 부정적 영향을 줄 수도 있다는 결과를 통해, 페르소나 활용의 효과가 상황에 따라 달라질 수 있음을 배울 수 있었습니다. 테슬라 사례 연구는 LLM이 보도 자료를 뉴스 기사로 재해석하며 기자들의 창의적이고 비판적인 시각을 모방하려는 시도를 보여주었고, 이를 통해 언어적 창의성에서의 가능성과 한계를 동시에 확인할 수 있었습니다. 또, 다양한 연구들에서는 LLM과 에이전트 간 협력 체계의 중요성이 강조되었습니다. 예를 들어, 자율주행차 시스템에서 음성 명령 처리 에이전트와 차량 제어 에이전트가 협력하여 사용자 경험을 개선하는 방식이 제안되었습니다. 이러한 협력 구조는 AI의 안전성과 투명성을 강화하는 데 중요한 역할을 할 수 있음을 시사했습니다.

 

이번 학회에서는 번역 및 요약 모델과 멀티모달 LLM 관련 연구를 집중적으로 탐구하며 업무와의 연계 가능성을 모색했습니다. 특히 Few-shot 학습이 번역 성능에 미치는 긍정적 효과와, 생성된 데이터를 평가할 때 고품질 데이터의 중요성을 강조한 연구가 업무에 유용한 인사이트를 제공했습니다. 이를 바탕으로 현재 프로젝트에 적용 가능한 아이디어를 얻을 수 있었습니다.

 

본 학회는 발표 주제와 시간이 명확히 구분되어 있어 체계적이고 효율적인 진행이 돋보였습니다. 포스터 발표를 통해 다양한 연구자들과 기술적 논의를 나누며 코드 구현, 데이터 처리, 피처 활용 등 구체적인 피드백을 받을 수 있어 유익했습니다. 또한 Amazon, Apple, LG AI Research, 삼성 등 다양한 기업 연구자들과 국민대, 연세대, 애리조나, 마이애미 대학 교수님들과 네트워킹 할 수 있었습니다. 특히 업무와 관련된 교수님들을 직접 만나 의견을 나눌 수 있었던 점이 큰 의미로 남았습니다.

 

코로나로 인해 학회 참석 기회가 없었던 대학원 시절을 지나, 이번 EMNLP 2024는 첫 해외 학회 참석이자, 새로운 가능성을 확인할 수 있는 자리였습니다. 특히 한국 연구자들이 NLP 분야에서 두각을 나타내는 모습을 보며 자부심을 느꼈고, 글로벌 빅테크와 한국 기업들의 연구 방향을 비교하며 많은 영감을 얻었습니다. 

 

 

2. 논문 특징

 

연구 목표: 자동차 산업 논문 평가 모델 고도화

 

TRM 기반 유망 기술 평가의 정밀성과 효율성을 높이기 위해 다음과 같은 목표를 설정했습니다. 먼저, AI를 활용해 상위 평가 기술의 품질을 향상시키고, 정성적 판단을 최소화하여 평가 프로세스를 보다 간소화를 목표로 하였습니다. 또한, 유망 논문을 선정할 때 담당 기술 분야와 무관한 노이즈 논문을 제외함으로써 분석의 정확도를 높이고, 노코딩이 가능한 사용자 친화적인 UI 시스템을 구축하여 분석 프로세싱을 최적화하고자 했습니다.

 

연구 주요 내용

 

자동차 산업에 특화된 논문 랭킹 모델(EPR, An Expert Behavior-enhanced Paper Ranking Framework for the Automotive Industry)을 개발했습니다. 이번 연구는 기존의 인용 트렌드 등 외부 요인을 반영한 보다 정밀한 논문 랭킹 시스템을 구축하고, 자동차 산업 도메인에 특화된 문맥을 반영할 수 있는 언어 모델의 필요성에서 출발했습니다.

 

● 원문 링크: 링크

 

● 주요 Contribution:

1. 7가지 주요 Features 최적화(다중공선성 등 요소 분석)

- 연구 점유율, 시계열 추세, 연구 최신성, 연구 영향력, 기업 집중도, 저자 영향력(H-Index), 학회 영향력(SJR)

2. V-Paper 데이터셋 개발

- 자동차 전문가 레이블 기반

3. V-BERT-Specter 언어 모델 개발

- 자동차 논문, Citation DB를 활용해 Fine Tuning한 언어 모델

4. Retrieval 기반 CAR 랭킹 최적화 프레임워크

- Sparse(BM25) Retrieval 사용

 

● 프레임워크 구성:

○ Sparse Retrieval 기반 BM25로 주요 논문 후보군 추출(Input: Paper, keyword query)

○ V-BERT-Specter 언어 모델 기반 Text Embedding

○ Expert-Behavior(7가지 주요 feature) 대상 FastText 활용

○ CAR 모델 기반 Concat 및 앙상블 과정을 통해 최적 랭킹 도출(CAR, RankNET, GSF 등 다양한 모델을 대상으로 성능 평가 및 Ablation Study 수행 최적화 결과)

 

● 모델 성능:

○ 선택된 Expert-Behavior 성능 분석

- 선택된 Expert-Behavior의 성능이 기존 기본 모델 대비 월등히 높은 결과를 보여 제안된 모델에서 사용된 Feature 최적화가 효과적임을 증명

○ EPR 모델 성능 개선

- EPR 모델의 성능은 66.7%로, 개별 모델을 사용할 때보다 성능이 크게 향상됨

- 특히 CAR 모델 기준으로는 42.8%의 성능 증가율을 기록, 제안된 프레임워크의 실효성을 입증

 

발표 후기 및 반응

 

EMNLP 2024에서 논문 발표는 참관자들로부터 큰 관심을 받았습니다. 특히 V-Paper 데이터셋과 모델 앙상블 과정의 Dimension 구조에 대한 기술적인 질문이 다수 이어졌으며, 러시아를 포함한 다양한 국가의 논문이 포함되는지, 정보가 적은 최신 논문의 유망성을 예측할 수 있는지에 대한 날카로운 질문들도 제기되었습니다. 이와 함께 학회 현장에서 관련 분야의 박사, 교수, 기업 임직원들과 교류하며 다양한 관점을 수렴하고 협력 가능성을 모색하는 등 의미 있는 네트워킹 성과를 거두었습니다.

 

https://2024.emnlp.org/

GitHub - FreedomIntelligence/FreedomIntelligence.github.io: Website for CUHKSZ NLP group (under construction)