星空影视网

展开菜单

腾讯云开源 DeepSeek 量化部署方案:性能最高提升 3.9X

腾讯云开源 DeepSeek 量化部署方案:性能最高提升 3.9X
腾讯云联合小红书hilab infra团队,在sglang 中实现了deepseek量化模型的高效推理优化,并在huggingface中发布了deepseek-v3.1-terminus的量化模型。 量化方案介绍 当前主流的大语言模型普遍采用MoE架构,这种架构可以在减少训推成本的同时提升模型性能,与此同时,模型体积也变得越来越大。比如,DeepSeek系列为671B,Kimi K2达到了 1TB,而当前主流的GPU单卡显存只有 80GB/96GB,通常需要双机分布式...

AIBrix v0.5.0 正式发布:实现批量 API 支持

AIBrix v0.5.0 正式发布:实现批量 API 支持
AIBrix v0.5.0 现已发布。此版本引入与 OpenAI 兼容的批处理 API,专为处理高吞吐、时延不敏感的离线推理与评估任务设计,有效避免对实时端点造成干扰。同时,新版本集成了全新的 KVCache 连接器(AIBrixOffloadingConnectorV1Type3),借助其流水线式预取与分层卸载机制,显著提升 KVCache 卸载与复用的效率。 此外,v0.5.0 将 StormService 打造为生产级的控制面,通过 PodSet/PodGro...

全球首个“纯 AMD”训练 MoE 大模型 ZAYA1 发布

全球首个“纯 AMD”训练 MoE 大模型 ZAYA1 发布
amd联合ibm及ai新锐zyphra推出zaya1——全球首款完全基于amd硬件训练的moe基础模型,完成14t tokens预训练,整体表现媲美qwen3系列,数学与stem推理能力在未进行指令微调的情况下已接近qwen3专业版本。 训练配置 集群架构:IBM Cloud平台部署128节点,每节点搭载8块AMD Instinct MI300X,总计1024张加速卡;采用InfinityFabric互联技术与ROCm软件栈,实现峰值算力750PFLOPs 训练...

国内首个 AI 旅行助手评测结果出炉,飞猪问一问排名第一

国内首个 AI 旅行助手评测结果出炉,飞猪问一问排名第一
国内首份系统性《ai旅行助手评价体系》近日正式发布,飞猪问一问以724.92分(满分900分)的综合评分位居榜首,程心ai与支付宝出行助手分列第二、第三名,小红书点点、携程问道、腾讯元宝、豆包、deepseek等产品紧随其后。 该评价体系由北京第二外国语学院数字文旅研究中心牵头组建专家团队制定,围绕可用性、易用性、个性化、安全性、流畅性五大核心维度构建,成为当前旅行类AI应用发展的重要参考标准。 研究指出,当前市场上的旅行AI主要可分为四类:OTA平台主导型、泛生活服...

一文看懂 AI 大模型的并行训练方式(DP、PP、TP、EP)

一文看懂 AI 大模型的并行训练方式(DP、PP、TP、EP)
大家都知道,ai 计算(尤其是模型训练和推理),主要以并行计算为主。 AI 计算中涉及到的很多具体算法(例如矩阵相乘、卷积、循环层、梯度运算等),都需要基于成千上万的 GPU,以并行任务的方式去完成。这样才能有效缩短计算时间。 搭建并行计算框架,一般会用到以下几种常见的并行方式: Data Parallelism,数据并行 Pipeline Parallelism,流水线并行 Tensor Parallelism,张量并行 Expert Parallelism...

设备APP接口开发:带你看懂什么是API!

设备APP接口开发:带你看懂什么是API!
设备app接口开发已成为打通硬件与软件的关键纽带。本文通过解析api的定义、技术架构、开发流程以及实际案例,深入剖析设备app接口如何借助标准化协议实现跨平台协同,推动企业高效搭建智能化生态系统。 一、API:连接设备的“信息通道” 在智能家居、工业物联网等应用场景中,设备APP接口开发的核心正是API(应用程序编程接口)——一套预先设定的规则体系,使不同系统之间能够通过统一协议进行数据交互。例如,智能手环利用API将心率信息同步至健康管理应用,工业传感器则通过A...

国家网络安全通报中心通报一批境外恶意网址和恶意 IP

国家网络安全通报中心通报一批境外恶意网址和恶意 IP
12月3日,国家网络安全通报中心发布信息称,中国国家网络与信息安全信息通报中心通过技术支撑单位监测发现一批境外恶意网址和恶意IP。境外黑客组织正利用这些地址持续对中国及其他国家发起网络攻击。此次发现的恶意网址和IP均与特定木马程序或其控制端存在紧密关联,攻击行为涵盖僵尸网络构建、后门入侵等类型,已对我国联网机构及互联网用户的安全构成严重威胁。 涉及的恶意IP和域名主要分布于美国、英国、德国、荷兰、克罗地亚、塞浦路斯、巴西、土耳其和保加利亚等地。具体情况如下: 一、...

ChatGPT全球服务遭遇中断,OpenAI紧急修复

ChatGPT全球服务遭遇中断,OpenAI紧急修复
OpenAI旗下的人工智能服务ChatGPT,在12月2日至3日期间,遭遇了一次显著的服务中断事故。此次故障主要影响了网页版的用户,导致许多人无法正常访问,不过Mac桌面客户端在此期间并未受到波及。 故障详情与官方回应 故障发生后,许多用户在尝试通过浏览器访问ChatGPT时,遇到了页面无响应或加载失败的问题。OpenAI方面迅速响应,于2日凌晨2时37分开始监控恢复情况,并在3时确认服务已全面恢复正常。官方声明将此次中断的原因归结为一次路由配置错误。 根据网络状态...

Ingress-nginx 退役:cert-manager 现状支持及未来展望

Ingress-nginx 退役:cert-manager 现状支持及未来展望
自从 ingress-nginx 和 ingate 宣布将于 2026 年 3 月正式停止维护以来,围绕如何从 ingress 平滑迁移到 gateway api 的讨论持续升温。由于二者在架构理念与资源模型上的根本差异,cert-manager 当前尚无法在 gateway api 场景下复现原有 ingress 中的 tls 自助服务能力。 Ingress 是一个单体式资源,而 Gateway API 则采用分层设计:由集群运维人员管控的 Gateway 资源,与由...

虫虫助手我的世界怎么联机_虫虫助手MC联机方法全攻略【分享】

虫虫助手我的世界怎么联机_虫虫助手MC联机方法全攻略【分享】
虫虫助手提供五种《我的世界》联机方法:一、内置局域网联机;二、云房间中继跨网联机;三、第三方服务器一键部署;四、GeyserMC实现Java与基岩版桥接;五、防火墙与权限专项修复。 如果您已安装虫虫助手并希望使用其辅助功能实现《我的世界》联机,但无法成功连接其他玩家,则可能是由于版本不匹配、网络权限未开放或虫虫助手服务未正确启动。以下是针对虫虫助手环境下的多种可行联机方法: 一、通过虫虫助手内置局域网联机 虫虫助手为基岩版用户提供了简化局域网共享的入口,无需手动配置...