一项由加拿大滑铁卢大学的王雨波、马学光等学者，与卡内基梅隆大学及 Vector 研究所的研究人员合作完成的开创性成果——ScholarCopilot，已于 2025 年 4 月正式发表在 arXiv 预印本平台，论文编号为 arXiv:2504.00824v2。感兴趣的读者可通过该编号在 arXiv 官网检索并阅读全文，进一步了解这项让 AI 以“学者”身份高效撰写学术论文与自动检索文献的最新进展。

一、背景与研究动因

学术写作是一项知识密集、结构严谨且需高准确引用的任务，尤其对研究生或非英语母语者挑战显著。现有生成式 AI 模型虽能流畅生成自然语言内容，但常因“幻觉”生成不真实引用而失可靠性。传统的 Retrieval‑Augmented Generation（RAG：检索增强生成）系统虽然改进可查证性，但引用检索与文本生成是分步执行，二者上下文不一致导致生成过程中容易错漏引用。

ScholarCopilot 正式针对这一痛点问世——旨在设计一套统一框架，使 LLM 能更可靠地在生成学术性文章时同步检索引用，并把引用与文本生成联合优化。

二、框架设计与模型架构

模型基础：研究基于开源 Qwen‑2.5‑7B，配合自建 arXiv 论文数据库训练。
关键创新：

动态 “[RET]” 检索标记机制：模型在生成文本过程中动态插入 [RET] 标记，指示何时应从数据库检索相关文献。
整个系统联合训练：文本生成与引用检索任务采用同一框架联合优化，避免传统系统中检索与生成的脱节。

检索系统：使用 contrastive learning 优化检索 token 表示，检索准确性大幅超越 BM25 或 E5-Mistral-Instruct。
数据库规模：训练与评估用 50 万篇 arXiv 论文，含数百万引文。

三、数据集与训练方法

论文数据采集：构建涵盖 50 万篇 arXiv 论文的语料库，包括结构解析、引文抽取、引用匹配等步骤。
联合训练目标：

Generation Loss（L_g）：基于 autoregressive 模型最大化文本生成概率。
Retrieval Loss（L_r）：contrastive learning 优化检索 token 表示，以提高检索准确性。
总体损失为 L=Lg+LrL = L_g + L_rL=Lg+Lr，生成与检索任务共享参数并同时训练。
对比基线模型如 E5-Mistral-7B-Instruct（top-1 检索准确率 15%）和 BM25（9.8%），ScholarCopilot 实现约 40.1% 的 top‑1 检索命中率。

四、评估与实验结果

论文团队开展广泛实验，覆盖多个维度：

✔️ 检索准确度：

top‑1 检索准确率提升至 40.1%，远高于其他基线模型。

✔️ 生成质量评价：

使用 1,000 篇真实学术写作样本，按相关性、连贯性、学术严谨性、完整性与创新性五维评分：

ScholarCopilot 平均得分 16.2／25，优于 Qwen‑2.5‑72B-Instruct（15.8／25），尽管参数量更小。

✔️ 用户访谈与体验评估：

人类研究者实验表明，在 citation recall（引用召回率）、写作效率与用户体验上，ScholarCopilot 明显优于传统工具。

五、关键优势与创新点

上下文驱动引用：通过 [RET] 标记机制实现引用检索与生成内容实时对齐。
联合训练架构：解决传统检索和生成之间语义不匹配的问题。
高