|
고동재 (Dong-Jae Koh) Dong-Jae Koh 경북대학교 빅데이터AI융합시스템 연구실(DACS Lab)에서 서영균 교수님의 지도 아래 석사과정을 밟고 있습니다. 경북대학교 컴퓨터학부 글로벌소프트웨어융합전공에서 학사 학위를 받았습니다. I'm an M.S. student in the Big Data & AI Convergence System (DACS) Lab at Kyungpook National University, advised by Prof. Young-Kyoon Suh. I received my B.S. from the Division of Global SW Convergence, School of Computer Science & Engineering, Kyungpook National University. 언어 모델의 성능이 커짐에 따라, 저는 언어 모델을 다양한 태스크에 적용·응용하는 연구와, 나아가 언어 모델의 내부 메커니즘을 규명하는 연구를 함께 진행하고 있습니다. 이를 통해 언어 모델을 안정적으로 구축하고 그 문제점을 파악하는 것을 목표로 합니다. 연구 협업이나 아이디어 논의에 관심이 있으시다면 언제든 편하게 연락 주세요! As language models grow more capable, my research applies them to a wide range of tasks and, going further, uncovers their internal mechanisms. The goal is to build language models reliably and to identify where and why they fail. If you're interested in collaborating or discussing research ideas, please feel free to reach out anytime! |
🔎 연구 관심사 🔎 Research Interest저의 연구 관심사는 자연어 처리(NLP) 전반에 걸쳐 있으며, 언어 모델을 다양한 태스크에 적용·응용하고 언어 모델의 신뢰성을 높이는 연구를 진행하고 있습니다. 최근 특히 관심을 두고 있는 주제는 다음과 같습니다.
My research interests span natural language processing (NLP). I work on applying language models to diverse tasks and on making them more reliable. Recently, I have been particularly interested in:
|
📚 논문 및 연구 성과 📚 Publications
*: 공동 1저자(동등 기여) †: 교신저자
*: denotes equal contribution. †: denotes corresponding author.
1 / 30
|
Can LLMs Normalize Databases? A Benchmark and Multi-Agent Framework for Schema Normalization
(해당 논문으로 학위논문 작성 중)
(M.S. thesis in progress based on this work)
언어 모델은 데이터베이스를 정규화할 수 있는가? 스키마 정규화를 위한 벤치마크와 멀티 에이전트 기법 Dong-Jae Koh*, Huisu Kim*, SeongHwan Yoon*, Lasse M. Jantsch, Chun-Hee Lee, Seonghyeon Lee, Young-Kyoon Suh† ACL Rolling Review 메타리뷰 점수 3.0 (“I think this paper could be accepted to the Findings of the ACL”) · 보완 후 NAACL 제출 예정 ACL Rolling Review meta-review score 3.0 (“I think this paper could be accepted to the Findings of the ACL”) · Revised version to be submitted to NAACL Paper 데이터베이스 정규화는 많은 전문가와 높은 비용이 필요한 작업입니다. 이러한 고비용 작업을 언어 모델로 자동화하기 위해 3,275개 샘플의 데이터셋과 다각적 평가 지표를 포함하는 벤치마크 DNBench를 제안했습니다. 데이터셋은 복합 정규화 위반 샘플을 포함하며, 평가 지표는 필수 조건을 다루는 의미적 측면, 부가 조건을 다루는 구조적 측면, 그리고 LLM-as-a-Judge 기법을 활용한 논리적 측면으로 구성됩니다. DNBench에서 범용 언어 모델을 광범위하게 실험하여 기존 모델이 이 작업에서 실패하는 원인들을 규명하고, 각 원인을 개선하는 멀티 에이전트 기법을 제안하여 기존 언어 모델의 성능을 80% 이상 향상시켰습니다. Database normalization requires many experts and is expensive. To automate this costly task with language models, we propose DNBench, a benchmark consisting of a 3,275-sample dataset and multi-faceted evaluation metrics. The dataset includes samples with compound normalization violations, and the metrics cover a semantic aspect (mandatory conditions), a structural aspect (additional conditions), and a logical aspect evaluated with LLM-as-a-Judge. Through extensive experiments with general-purpose LLMs on DNBench, we identify why existing models fail at this task, and propose a multi-agent framework that addresses each cause, improving the performance of existing language models by more than 80%. |
1 / 18
|
FineCite: A Novel Approach for Fine-Grained Citation
Context Analysis
FineCite: 세밀한 인용 문맥 분석을 위한 새로운 접근 방식 Lasse M. Jantsch, Dong-Jae Koh, Seonghwan Yoon, Jisu Lee, Anne Lauscher†, Young-Kyoon Suh† ACL 2025 (Findings) · 자연어 처리 최우수 학회 · 채택률 16.6% ACL 2025 Findings : Finding of the Association for Computational Linguistics (Acceptance Rate: 16.6%) Paper / Code 과학 논문에서 인용이 어떤 역할과 목적으로 사용되는지를 분석하는 인용 문맥 분석(citation context analysis) 연구입니다. 기존 연구들은 인용의 기능이나 의도를 분류하는 체계에 집중한 반면, 분류의 근간이 되는 인용 문맥 자체는 제한적으로 정의되어 과학적 담화의 풍부한 정보를 담아내지 못했습니다. 이를 해결하기 위해 인용 문구의 의미적 속성에 기반한 세밀한 인용 문맥 정의를 제시하고, ACL Anthology 논문에서 추출한 1,056개의 인용 문맥을 직접 주석하여 FineCite 코퍼스를 구축했으며, 주석자 간 일치도 검증을 통해 데이터 품질을 확보했습니다. 구축한 코퍼스로 학습한 추출 모델로 세밀한 문맥을 추출하고 이를 분류에 활용한 결과, 기존 벤치마크에서 최신 기법 대비 최대 25%의 성능 향상을 기록했습니다. Citation context analysis studies the roles and purposes that citations serve in scientific papers. Prior work focused on schemes for classifying citation function or intent, while the citation context itself, the basis of that classification, was defined narrowly and failed to capture the rich information of scientific discourse. We propose a fine-grained definition of citation context grounded in the semantic properties of citing text, and build the FineCite corpus by annotating 1,056 citation contexts extracted from ACL Anthology papers, verifying inter-annotator agreement to ensure data quality. Extracting fine-grained contexts with a model trained on this corpus and using them for classification yields up to 25% improvement over state-of-the-art methods on existing benchmarks. |
1 / 3
|
QRiousRAG: Retrieval Augmented Generation with Question-refinement using LLMs in Ambiguous Question Answering
QRiousRAG: 모호한 질의응답에서 LLMs의 질의 정제를 통한 검색 증강 생성 Dong-Jae Koh*, Lasse M. Jantsch*, Hwanseong Joo, Young-Kyoon Suh† 2024 한국소프트웨어종합학술대회 (KSC 2024), 한국정보과학회 · 논문집 pp. 1439–1441 Korea Software Congress 2024 (KSC 2024), Korean Institute of Information Scientists and Engineers (KIISE) · Proceedings pp. 1439–1441 Paper / Code 학부연구생 시절 공동 1저자로 참여한 연구로, RAG 시스템이 모호한 질문에 대해 일관되고 신뢰할 수 있는 답변을 생성하지 못하는 문제를 다룹니다. 기존 RAG 시스템은 입력 질문에 답변 품질이 좌우되어 정보가 불완전하거나 여러 해석이 가능한 질문에 취약합니다. 이를 해결하기 위해 검색된 문서의 관련성을 LLM 자가 피드백으로 평가하는 모듈과, 평가를 통과한 문서와 원 질의를 바탕으로 정제된 후속 질문을 생성하는 모듈을 기존 RAG 파이프라인에 추가한 QRiousRAG 프레임워크를 제안했습니다. 오픈소스 임베딩 모델(NV-Embed-v2)과 생성 모델(Llama-3.1)을 직접 설치·양자화하여 실험 환경을 구축했고, ASQA 벤치마크에서 기존 최고 성능 모델 대비 Disambig-F1 46.9%, DR-Score 41.3%로 가장 높은 성능을 기록했습니다. 프레임워크 설계와 실험을 공동 주도했으며, RAG 파이프라인 전 과정을 직접 구현했습니다. Work from my time as an undergraduate researcher, addressing the failure of RAG systems to produce consistent and reliable answers to ambiguous questions. Because answer quality depends on the input question, existing RAG systems are vulnerable to questions that are underspecified or open to multiple interpretations. QRiousRAG adds two modules to the standard RAG pipeline: one that evaluates the relevance of retrieved documents through LLM self-feedback, and one that generates refined follow-up questions from the documents that pass and the original query. Using a locally deployed and quantized open-source embedding model (NV-Embed-v2) and generator (Llama-3.1), QRiousRAG achieved the best results on the ASQA benchmark with a Disambig-F1 of 46.9 and a DR-Score of 41.3, surpassing the previous state of the art. I co-led the framework design and experiments and implemented the entire RAG pipeline. |
1 / 30
|
Layer-wise Target Propagation: Efficient Component Attribution through Target Centric Propagation
층별 타깃 역전파: 타깃 중심 역전파를 통한 효율적인 구성 요소 기여도 분석 Lasse M. Jantsch*, Dong-Jae Koh*, Seonghyeon Lee†, Young-Kyoon Suh† EMNLP 2026 (Main) · 자연어 처리 최우수 학회 · 채택률 15.4% · ICML 2026 Mechanistic Interpretability Workshop에도 채택 EMNLP 2026 Main : Proceedings of the 2026 Conference on Empirical Methods in Natural Language Processing (Acceptance Rate: 15.4%) & Previously accepted to the ICML 2026 Mech Interp Workshop Paper / Code 언어 모델이 특정 작업을 수행할 때 내부 구성 요소 중 어떤 요소가 주요하게 사용되는지를 분석하는 구성 요소 기여도 분석(component attribution) 연구입니다. 기존 기법들은 정확성과 계산 효율성을 동시에 만족하지 못하는 상충(trade-off) 문제가 있었습니다. 이를 해결하기 위해 타깃 토큰을 층별로 역전파하여 각 구성 요소의 기여도를 측정하는 기법을 제안했습니다. 그 결과 적은 수의 구성 요소만으로도 원본 전체 모델보다 높은 정답 확률을 기록하면서, 훨씬 낮은 계산 비용으로 기여도를 신속하게 측정할 수 있었습니다. Component attribution asks which internal components a language model relies on when performing a given task. Existing methods face a trade-off: none achieves both accuracy and computational efficiency. We propose a method that propagates the target token backward layer by layer to measure each component's contribution. With only a small number of components, it reaches a higher probability of the correct answer than the original full model, while measuring contributions much faster and at a far lower computational cost. |
|
Where Does the Noise Come From? Rectified Edge Attribution Patching for Accurate Circuit Discovery
잡음은 어디에서 오는가? 정확한 회로 발견을 위한 엣지 어트리뷰션 패칭 정제 Dong-Jae Koh et al. 작성 중 · NAACL 제출 예정 In preparation · Target venue: NAACL 언어 모델이 특정 작업을 수행할 때 활성화되는 엣지(구성 요소 간 경로)의 집합인 회로(circuit)를 더 정확하면서도 저비용으로 찾는 회로 발견(circuit discovery) 연구입니다. 회로 발견에서는 구성 요소보다 훨씬 많은 수의 엣지 기여도를 계산해야 하므로 주로 기울기 기반 기법(EAP)을 사용하는데, 이는 매우 빠르지만 정확도가 낮다는 한계가 있습니다. 본 연구에서는 기존 기법의 비용 효율성을 유지하면서 정확도를 높이기 위해, 기울기 근사를 모델에 적용할 때 발생하는 오차(잡음)를 모델 내부 연산자별로 계산하고 각각을 보정하는 기법을 제안했습니다. 그 결과 성능 평가에서 기존 대비 최대 3배 이상의 성능을 기록했습니다. Circuit discovery aims to find the circuit, the set of edges (paths between components) a language model activates for a given task, both accurately and at low cost. Since the number of edges far exceeds the number of components, gradient-based methods such as Edge Attribution Patching (EAP) are commonly used: they are very fast but inaccurate. To improve accuracy while keeping the cost efficiency of existing methods, we quantify the error (noise) that the gradient approximation introduces at each type of operator inside the model and propose a rectification for each. The resulting method achieves up to 3x higher performance than existing methods. |
🧪 연구 과제 🧪 Research Projects
|
🏆 수상 내역 🏆 Honors and Awards
|
📁 대내외 활동 📁 Activities
|
📜 어학 및 자격 📜 Languages and Certifications
|
🌐 경험 🌐 Experiences
|