• 浠嬬粛 首页

    重生2009:我靠投资成首富

  • 阅读设置
    第 373 章 发布倒计时(1/3)
    十二月十一日,距离灵犀预览版发布还有九天。

    陆尧在早上七点就到了联想总部,比平时早了整整一个小时。

    AI研究院的办公区里已经坐了大半的人,有人盯着屏幕跑测试,有人对着白板画架构图,有人端着咖啡在走廊里快步走过。

    空气里有一种被压缩过的紧张感,像考试前最后几天的自习室。

    倪光南比他更早到。

    八十岁的老人坐在会议室里,面前摊着三台笔记本电脑,一台跑端侧模型,一台跑端云协同,一台开着实时监控面板。

    他见陆尧推门进来,摘下老花镜,说了第一句话。

    “端侧模型的拆分方案跑通了。

    日常对话模型十二亿参数,跑在征程四代上的推理速度是每秒五十二个token。

    知识问答模型全部放在云端,端侧只做意图识别和转发,中间的多轮对话和复杂写作走端云协同。”

    “体验数据呢?”陆尧在他对面坐下。

    “日常对话的体验跟ChatGPT持平。

    多轮对话稍微差一点,大概九成,复杂作业八成五。”倪光南翻开笔记本,“但端云切换的失败率压到了百分之零点八,比目标低。”

    陆尧在笔记本上记了一笔。

    失败率百分之零点八,意味着每一百次端云切换只有不到一次失败。

    这个数据可以接受。

    “压力测试什么时候能跑完?”

    “今天下午。”倪光南说,“AI研究院的测试团队在做最后一轮压力测试,模拟十万用户同时使用灵犀的场景。

    端侧推理、端云切换、云端回传,三条链路同时跑。

    今天下午三点出结果。”

    从倪光南的会议室出来,陆尧去了地平线余凯的芯片测试实验室。

    余凯正在跟地平线的工程师调试征程四代的硬件加密引擎。

    屏幕上显示着端云加密链路的实时延迟数据,平均八毫秒,峰值十二毫秒。

    “硬件加密引擎的驱动全部跑通了。”余凯转过身来,“征程四代的安全加密引擎跟火山引擎的加密协议做了硬件级对接。

    端云之间的数据加密不再占用CPU资源,全部走硬件通道。

    延迟从软件加密的十二毫秒压到了八毫秒。”

    “功耗呢?”

    “四瓦。

    跟设计目标一致。”余凯翻开笔记本,“征程四代的推理单元在峰值负载下功耗会往上走一点,但端侧模型的拆分方案把负载分散了,峰值功耗没有超过四点二瓦。”

    陆尧在实验室里走了一圈,看了几台测试设备。
    本章未完,请翻下一页继续阅读.........