中美大厂研究员深度剖析:DeepSeek大模型蒸馏与RLHF技术技术解析


Episode Artwork
1.0x
0% played 00:00 00:00
Mar 24 2025 58 mins  

主播的话:

欢迎收听本期AI Odyssey节目。DeepSeek凭借其出色的性能和创新的技术路线在AI领域引起广泛关注。作为国内新兴的开源大模型,它在多项基准测试中表现优异,引发了业内对其背后技术实现的好奇。正因如此,我们特意邀请了三位AI领域的一线专家——投资人CW,美团首席工程师奚辰光,以及专注于大模型优化的GenAI研究员Tianyi,共同解析DeepSeek模型的技术创新点,特别是在训练成本优化、数据蒸馏和RLHF等方面的突破。通过这次对话,我们希望为听众揭开高性能开源模型背后的技术思路,也期待探讨大模型未来的发展方向。

嘉宾介绍:

  • CW:国内机构投资人,关注AI/Robotics。
  • 奚辰光:奚辰光,美团首席工程师
  • Tianyi:美国大厂的GenAI研究员,从事高性能AI,自动化人工智能,大模型后训练和知识蒸馏。

主播介绍:

  • Leo:硅谷大厂高级机器学习工程师,GenAI LLM发烧友

shownote:

00:21 嘉宾自我介绍

01:25 DeepSeek 如何降低训练成本

04:07 数据蒸馏 vs 传统蒸馏的区别

05:42 训练数据的获取与质量优化

06:01 大模型的竞争格局与未来发展

07:11 蒸馏与小模型训练策略

10:41 Scaling Law 的未来趋势

14:38 Moe (Mixture of Experts) 在大模型中的应用

17:02 AI 的跨模态能力与未来发展

24:42 强化学习 (RL) 在大模型优化中的应用

30:47 AI 未来的发展方向与盈利模式

32:63 Efficiency 研究方向:降低 AI 成本

40:03 AI 代理 (Agent) 时代的到来

44:12 未来 AI 企业将如何调整盈利策略

PS:AI Odyssey 听友群正式开通了,添加 vx:aiodysseyai 带你一起看 AI。

以上就是本期的全部内容了,欢迎您的收听,我们下期再见~