大语言模型算法研究员-豆包大模型
北京
研发 - 算法
职位 ID:A168184
职位描述
字节跳动豆包大模型团队成立于 2023 年,致力于开发业界最先进的 AI 大模型技术,成为世界一流的研究团队,为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心,研究方向涵盖NLP、CV、语音等,在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源,在相关领域持续投入,已推出自研通用大模型,提供多模态能力,下游支持豆包、扣子、即梦等50+业务,并通过火山引擎开放给企业客户。目前,豆包APP已成为中国市场用户量最大的AIGC应用。 负责公司大模型的研究与应用,探索相关技术在搜索、推荐、广告、内容创作、客户服务等领域的全新应用和解决方案,满足用户日益增长的智能交互需求,全面提升用户在未来世界的生活和交流方式。 1、LLM推理和规划,在整个开发过程中增强LLM推理和规划,包括数据采集、模型评估、预训练、SFT、奖励建模和强化学习,以提高LLM的整体性能; 2、通过重写、扩充和生成等方法合成大规模、高质量的数据;如指令调优、偏好对齐、模型优化以提高LLM在各个阶段(预训练、SFT、RLHF)的能力; 3、通过RLHF/RLAIF进行偏好对齐,探索全新的训练范式,优化大模型在文本、图像、语音等多模态上的表现; 4、研究和实施稳健的评估方法,以评估LLM在各个阶段的表现,揭示其能力的潜在机制和来源,并利用这种理解来推动模型改进; 5、探索和优化有效的LLM训练方法(如主动学习、课程学习)和目标,以完善缩放规律,实现卓越的模型性能; 6、相关应用落地,包括内容创作、逻辑推理、代码生成等,深入研究和探索大模型在未来生活中的更多使用场景。
职位要求
1、熟练掌握RL、LLM、NLP、机器人、CV、搜索推荐系统的研究或应用经验,熟悉大型模型训练者优先; 2、熟练掌握数据结构和算法基础技能,熟练掌握C/C++或Python,有ACM/ICPC、IOI、TopCoder等大赛获奖者优先; 3、有RL、NLP、深度学习等有影响力的项目或论文经验者优先(包括 ICML、NeurIPS、ICLR、CVPR、ICRA、EMNLP、KDD 等) ;具有相关实习经验或 ACM 竞赛获奖者优先; 4、优秀的问题分析和解决能力,能够在大型模型训练和应用中深度解决问题; 5、具有良好的沟通协作能力,能够与团队一起探索新技术,推动技术进步。