小鹏汽车启动720亿参数自驾基模研发,初步验证自动驾驶规模法则

汽车行业开始进入全新的大模型研发浪潮。4月14日,小鹏汽车在香港举办AI技术分享会,首次披露正在研发720亿参数的超大规模自动驾驶大模型,即“小鹏世界基座模型”。未来,小鹏将通过云端蒸馏小模型的方式将基模部署到车端,给“AI汽车”配备全新的大脑。这款模型同时也将赋能小鹏的AI机器人、飞行汽车等。

小鹏汽车启动720亿参数自驾基模研发,初步验证自动驾驶规模法则

小鹏汽车自动驾驶负责人李力耘介绍,小鹏基模是一个以大语言模型为骨干网络,使用海量优质驾驶数据训练的多模态大模型,具备视觉理解能力、链式推理能力和动作生成能力。通过强大的强化学习训练,基座模型不断自我进化,将逐步发展出媲美甚至超越人类的自动驾驶技术。

李力耘透露,为了研发基模,小鹏汽车早在去年就开始布局AI基础设施,现已建成国内汽车行业首个万卡智算集群,用以支持基座模型的预训练、后训练、模型蒸馏、车端模型训练等任务,小鹏汽车将这套从云到端的生产流程称之为“云端模型工厂”。目前,小鹏“云端模型工厂”拥有10 EFLOPS的算力,集群运行效率常年保持在90%以上,从云到端的全链路迭代周期可达平均5天一次。

小鹏世界基座模型:具备长思维链推理能力,参数规模高达720亿

早在2024年下半年,小鹏汽车已开始面向L4级别的自动驾驶研发全新的“AI大脑”,即小鹏世界基座模型。

小鹏研发团队利用优质自动驾驶训练数据,先后开发了多个尺寸的基座模型,目前已经着手推进72B(72 Billion,即720亿)超大规模参数世界基座模型的研发,参数量是主流 VLA 模型的35 倍左右。

小鹏汽车启动720亿参数自驾基模研发,初步验证自动驾驶规模法则

小鹏世界基座模型的一大优势是具备链式推理能力(CoT),在充分理解现实世界的基础上,能够像人类一样进行复杂的常识推理,并将推理结果转化为行动,例如输出方向盘、刹车等控制信号,实现和物理世界的交互。

未来,经由基座模型的赋能,智能驾驶系统有望从“模仿人类”进化到“超越人类”,最终能够处理全场景的自动驾驶问题,包括一些模型从来没在训练数据中遇到的问题。

从设计之初,小鹏汽车就将基模定位为一个可以泛化到多种具身终端的基座模型。李力耘表示:“小鹏世界基座模型是小鹏自动驾驶真正走向L3、L4的基础,也会是未来小鹏所有物理AI终端的通用模型。”后续,小鹏世界基座模型将全面赋能小鹏AI体系全图谱,应用到小鹏汽车的AI汽车、AI机器人、飞行汽车上。

从0打造云端模型工厂,开启AI时代模型生产新范式

为了开发小鹏世界基座模型,小鹏汽车打造了一座“云端模型工厂”,工厂“车间”涵盖基座模型预训练和后训练(强化学习训练)、模型蒸馏、车端模型预训练到部署上车的完整生产链路。“云端模型工厂”采用强化学习、模型蒸馏的技术路线,能够高效生产“小身材、大智商”的端侧模型,甚至为不同需求的汽车定制不同的“大脑”,让“千人千面”的模型研发成为可能。

小鹏汽车启动720亿参数自驾基模研发,初步验证自动驾驶规模法则

小鹏汽车从2024年开始搭建AI基础设施(AI Infra),当前已建立起万卡规模的智能算力集群,是目前国内汽车行业最大的自动驾驶算力集群。小鹏汽车的算力储备达到10EFLOPS,集群利用率常年高达90%以上,高峰时期的运行效率甚至达到98%。

小鹏世界基座模型负责人刘博士介绍,多模态模型训练的主要瓶颈不仅是 GPU,也需要解决数据访问的效率问题。小鹏汽车自主开发了底层的数据基础设施(Data Infra),使数据上传规模提升22倍、训练中的数据带宽提升15倍;通过联合优化 GPU / CPU 以及网络 I/O,最终使模型训练速度提升了 5 倍。目前,小鹏汽车用于训练基座模型的视频数据量高达2000万clips,这一数字今年将增加到2亿clips。

依托强大的AI基础设施和数据基础设施,小鹏开启了全新的基座模型研发范式,从云端模型预训练到车端模型部署,整个“云端模型工厂”的迭代周期达到平均5天一次。

时隔一年,小鹏汽车在物理世界AI领域取得三大阶段性成果

2024年是汽车行业的“端到端”之年,在率先量产端到端大模型一年之时,小鹏汽车又在物理世界大模型研发上再进一步。小鹏汽车在分享会上披露了基模研发的三个阶段性成果:

小鹏汽车启动720亿参数自驾基模研发,初步验证自动驾驶规模法则

规模法则(Scaling Law)揭示了大模型的性能如何随着模型的计算量、训练数据量和参数量的提升而提升,被视为AI领域的“摩尔定律”。规模法则在大语言模型(LLM,Large Language Model)领域已被充分验证,但自动驾驶基座模型复杂得多,它的训练数据远不止单模态的文本数据,还包括摄像头信息、导航信息等关于物理世界的多模态数据,本质上,它要求模型对物理世界形成认知和理解。利用驾驶数据训练基模,尤其是参数规模逐步扩大到百亿级别之后,规模法则是否还持续生效?此前行业内不曾有过充分的验证。

小鹏团队首次验证了规模法则在自动驾驶领域持续生效,刘博士表示:“过去一年,我们做了大量实验,在10亿、30亿、70亿、720亿参数的模型上都看到了明显的规模法则效应:参数规模越大,模型的能力越强。同样的模型大小,训练数据量越大,模型的能力也会越强。”

不久前,小鹏汽车将理论变为现实,在后装算力的车端上用小尺寸基模实现了控车。尽管只是非常早期的实车测试,全新基模已经展现出令人惊喜的基础驾车技能。

小鹏汽车去年就已开始研发强化学习技术,用以提升基座模型的性能天花板。刘博士表示,强化学习能够帮助模型自我进化,学会处理训练数据中没有的长尾问题,做到极致安全的自动驾驶。只有足够强大的基座模型,才能被强化学习不断激发出能力上限。这也是小鹏汽车选择云端蒸馏路线的原因之一:在云端不计成本地训练出足够聪明且泛化能力强的模型,将其蒸馏到适配车端算力的小尺寸模型上,最终可让车端模型的性能超越车端算力“一亩三分田”的限制。

值得一提的是,强化学习、云端蒸馏等技术方案,在今年爆火的DeepSeek论文中都得到了验证。

基模研发是小鹏汽车“AI化”转型的重要一步,不过,即便来到“大模型时代”,过去“规则时代”的领先经验仍在发挥作用。在开发强化学习的奖励模型(Reward Model)时,研发团队基于规则经验设计了奖励函数,将规则时代的沉淀转化为了训练基座模型的生产力。

小鹏汽车启动720亿参数自驾基模研发,初步验证自动驾驶规模法则

同时,小鹏汽车已经着手开发世界模型(World Model),作为“云端模型工厂”的重要一环,支持基座模型的性能优化。刘博士介绍,小鹏的世界模型是一种实时建模和反馈系统,能够基于动作信号模拟出真实环境状态,渲染场景,并生成场景内其他智能体(也即交通参与者)的响应,从而构建一个闭环的反馈网络,帮助基座模型不断进化,逐渐突破过去“模仿学习”的天花板。

关于小鹏世界基座模型研发和训练成果更多的细节,今年6月小鹏汽车将会在计算机视觉国际顶会CVPR上进一步分享,敬请期待。

Like (0)
北方汽车北方汽车
Previous 2025年 4月 13日 下午3:32
Next 2025年 4月 14日 下午7:35

相关推荐

  • 2024 BMW北区媒体沈阳生产基地溯源之旅收官

    暖阳待雪,澄明日和。12月20日,2024 BMW北区媒体沈阳生产基地溯源之旅圆满收官。此行,多位媒体挚友与BMW北区一同深入宝马沈阳生产基地,近距离探悉宝马精益智造与严苛质量品控流程,共同见证BMW品牌对至臻豪华标准的坚守。 品质放心:匠心工艺打造产品“满分答卷” 无高质量,不豪华。作为百年豪华品牌,宝马始终“以客户为中心”,构筑贯穿全价值链的质量管理体系…

    2024年 12月 24日
    3.3K00
  • 明年低端老头乐要交购置税,五菱汽车慌不慌

    近日,有关部门联合印发了《关于调整减免车辆购置税新能源汽车产品技术要求的公告》,对入围免征购置税的电动汽车在续航和电池等方面提出了更高的要求。这意味着,一些续航里程低、电池技术落后的的老头乐式的电动车,很有可能从明年6月起无法享受购置税减免政策。 对于五菱汽车来说,因为长期靠宏光MINI EV这种低端电动汽车生存,这项新政策无异于致命打击。 如果没有购置税减…

    2023年 12月 12日
    7.3K00
  • 全固态电池最快2027 年推出!广汽丰田科技开放日展示硬核科技

    6月28日,广汽丰田在首届科技开放日上,第一次集中展示了合资2.0时代的转型成果和前瞻技术布局,不仅体现了多路径电动化技术的深厚积累,更彰显了推动智能化水平快速跃迁的坚定决心。 电动化方面,第五代智能电混双擎以三大极致均衡全面引领混动技术路线,打造混动时代的不 2 之选。HEV、PHEV、EV、FCEV业内最全路径多线并进,支持快充的插混车型将于今年10月在…

    2024年 6月 28日
    1.7K00
  • 全面展示现地化研发实力,广汽丰田构建合资“油电同强”新范式

    在4月23日开幕的2025上海国际汽车工业展览会上,丰田首款鸿蒙座舱D级轿车铂智7全球首发亮相。新车搭载鸿蒙座舱、带激光雷达的全场景智能驾驶辅助等先进智能装备,车长超5米,是广汽丰田铂智品牌旗下全新纯电旗舰车型。3月刚上市的铂智3X和凯美瑞、汉兰达、赛那三大全球旗舰车型也同步展出,全面展现了广汽丰田全新的智电转型成果和现地化研发实力。铂智3X还带来官方开发的…

    5天前
    83600
  • “全球唯一新能源零自燃”被怼,极氪的营销为何屡屡翻车

    日前,极氪官方微博发布宣传海报称,历时26个月极氪累计交付量突破20万台,并自称“最快突破20万、全球唯一新能源零自燃纪录”。“全球唯一新能源零自燃”,极氪自说自话的营销宣传引起了友商的强烈不满,阿维塔官微质疑极氪这一说法缺乏调查依据。 事实上,作为一家成立不到3年的新能源汽车公司,极氪在车市的存在感并不强。极氪营销宣传自己无可厚非,但公开拉踩友商,既不厚道…

    2024年 1月 14日
    3.2K00

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信