实习详情
中国信息通信研究院 · AI 研究所
部门与业务背景
中国信息通信研究院（CAICT）人工智能研究所承担大模型能力评测、行业标准制定等公共研究职能。实习期间参与"大模型评测体系建设"方向，聚焦 LLM-as-judge 领域适应评测方法，服务于公共卫生等专业垂直场景。
核心职责与成果
大模型评测 SOTA 复现与验证
- 系统复现并验证大模型评测领域的 SOTA 方法（含主流对齐基准、能力评测集），建立可复现的评测实验流程
- 针对评测结果进行细粒度拆解分析，输出方法优劣对比报告，为所内评测标准制定提供实证依据
GlobalHealthAtlas 打分器构建
- 执行 DeepSpeed 分布式微调，构造 LLM-as-judge 领域适应一体化模型与打分器 GlobalHealthAtlas
- 面向公共卫生专业推理场景，构建高质量偏好/评分数据，使打分器在领域任务上的评判一致性显著优于通用 judge 模型
- 该项目为上海市重大科技专项的一部分，服务于专业公共卫生推理的自动化评测与辅助决策