From 46 items, 17 important content pieces were selected
- Meta 智能眼镜员工报告拥有广泛数据访问权限,公司计划推出人脸识别功能 ⭐️ 8.0/10
- 研究证实首例子宫内干细胞疗法修复胎儿脊柱裂安全有效 ⭐️ 8.0/10
- Linux 内核开发者就如何实现原子缓冲写入展开讨论 ⭐️ 8.0/10
- 摩托罗拉与 GrapheneOS 基金会合作,旨在加强智能手机安全 ⭐️ 8.0/10
- Qwen3.5-9B 发布:采用混合 Gated DeltaNet/Attention 架构的 90 亿参数视觉语言模型 ⭐️ 8.0/10
- StepFun 发布 Step 3.5 Flash 的两个基础模型及训练框架 ⭐️ 8.0/10
- 研究人员逆向工程苹果 M4 神经引擎,实测揭示 38 TOPS 宣传存在误导 ⭐️ 8.0/10
- ECH 加密握手协议通过 IETF 全部审批,RFC 9849 进入最终发布前夕 ⭐️ 8.0/10
- 技术深度解析:Linux 内核中 TCP 零拷贝网络的工作原理 ⭐️ 7.0/10
- 开源中的’利用悖论’:漏洞如何威胁 FOSS 自由 ⭐️ 7.0/10
- Qwen 发布新款小型 3.5 模型(0.8B、2B、9B),面向资源受限硬件 ⭐️ 7.0/10
- Qwen 3.5 0.8B 多模态模型通过 WebGPU 和 Transformers.js 在浏览器中本地运行 ⭐️ 7.0/10
- Qwen3.5-0.8B 模型在 7 年前的三星手机上以每秒 12 个 token 的速度本地运行。 ⭐️ 7.0/10
- Qwen3.5 的 9B 和 4B 模型在基准测试中表现超越更老、更大的模型。 ⭐️ 7.0/10
- Qwen 3.5 2B 模型在多种文本类型上展现出卓越的 OCR 能力。 ⭐️ 7.0/10
- LM Studio 解析器静默破坏 Qwen3.5 工具调用与推理,串联起长达一年的错误报告 ⭐️ 7.0/10
- 小米人形机器人入驻汽车工厂,完成压铸零件自动化装配 ⭐️ 7.0/10
Meta 智能眼镜员工报告拥有广泛数据访问权限,公司计划推出人脸识别功能 ⭐️ 8.0/10
根据《纽约时报》基于内部文件的报道,Meta 计划在一个分散注意力的政治环境中,趁批评者关注他处时,为其 Ray-Ban Meta 智能眼镜引入人脸识别功能。与此同时,参与该眼镜项目的员工报告称,他们拥有对用户数据的广泛访问权限,包括设备捕获的图像和音频。 这标志着可穿戴技术相关的隐私风险显著升级,因为始终在线的眼镜上的人脸识别功能,可能在公共和私人空间实现无处不在的实时监控。该功能发布的战略时机,加上内部人士关于广泛数据访问的报告,对在环境计算时代企业的透明度和用户同意提出了严重的伦理质疑。 《纽约时报》引用的内部文件明确表示,Meta 打算”在一个动态的政治环境中推出该功能,届时我们预计会攻击我们的许多民间社会团体的资源将集中在其他问题上”。根据技术规格,当前的 Ray-Ban Meta 眼镜需要连接智能手机应用,配备了 1200 万像素摄像头和具有多模态计算机视觉功能的 Meta AI。
hackernews · sandbach · Mar 2, 22:32
背景: 像 Ray-Ban Meta 这样的智能眼镜是将摄像头、麦克风和显示器集成到眼镜中的可穿戴设备,通常由 AI 驱动,用于翻译或物体识别等任务。人脸识别是一种生物识别技术,它使用算法根据面部特征识别个人,由于其隐私和监控问题,将其集成到消费级可穿戴设备中一直存在争议。此前像 Google Glass 这样的尝试就因类似的隐私问题面临了巨大的公众反弹,常被贴上” creepy “(令人毛骨悚然)技术的标签。
社区讨论: 社区表达了强烈的担忧和嘲讽,将其与 Google Glass 因社会污名化和隐私恐惧而失败的经历相提并论。评论强调了所感知的企业虚伪,指出 Meta CEO 马克·扎克伯格自己有贴住笔记本电脑摄像头的习惯,而他的公司却在推广始终在线的摄像头。其他人将这个问题与更广泛的地缘政治监控联系起来,讽刺地建议增加联网传感器”没有任何坏处”,并敦促消费者”用你的钱包投票”。
标签: #privacy, #facial-recognition, #surveillance, #meta, #ethics
研究证实首例子宫内干细胞疗法修复胎儿脊柱裂安全有效 ⭐️ 8.0/10
一项开创性的临床研究证实,首例用于修复胎儿脊柱裂(一种主要的先天性神经管缺陷)的宫内干细胞疗法是安全的。该疗法是正在进行的“CuRe 试验:用于宫内修复脊髓脊膜膨出的细胞疗法”的一部分,代表了一种超越传统胎儿手术的新方法。 这一突破意义重大,因为它为在出生前更彻底地修复脊髓缺陷提供了一条潜在途径,可能显著改善患病儿童的长期神经功能和生活质量。这代表了胎儿再生医学的一大进步,超越了仅仅闭合物理缺口,迈向潜在修复神经组织的新阶段。 该疗法在子宫内实施,通常在妊娠 19 至 26 周之间进行,涉及使用干细胞(可能是羊水来源的间充质干细胞,AFMSCs)来辅助修复。虽然初步结果侧重于安全性,但完整的临床试验(CuRe 试验)预计将持续到 2030 年左右,以评估长期疗效。
hackernews · gmays · Mar 2, 14:54
背景: 脊柱裂是一种先天性神经管缺陷,指胎儿发育期间脊柱未能完全闭合,常导致神经损伤、瘫痪和其他并发症。针对其最严重形式——脊髓脊膜膨出的传统胎儿手术,需要切开子宫以手术方式闭合背部病灶,这对母亲和胎儿都有风险。宫内干细胞疗法是一种实验性策略,旨在利用再生细胞修复缺陷,可能提供超越物理闭合的功能性改善。
参考链接
社区讨论: 社区评论表达了深切的希望和情感共鸣,许多人分享了与脊柱裂及相关疾病的个人联系。评论者强调了疾病严重程度的广泛性、对家庭的终身影响以及历史上治疗选择有限的情况,并将这项研究视为一项变革性进步,有望预防痛苦并改善生活质量。
标签: #medical-research, #stem-cells, #fetal-surgery, #spina-bifida, #biotech
Linux 内核开发者就如何实现原子缓冲写入展开讨论 ⭐️ 8.0/10
Pankaj Raghav 于 2026 年 2 月发起讨论,指出尽管 ext4 和 XFS 现已支持原子直接 I/O,但原子缓冲 I/O 仍未实现,尽管已有多个提案。讨论揭示了关于该功能必要性和复杂性的持续分歧,其中 PostgreSQL 被引为主要潜在用户。 原子缓冲写入对于确保数据库等多块数据写入应用的数据完整性至关重要,可防止导致数据损坏的部分”撕裂写入”。实现此功能将使 PostgreSQL 等依赖缓冲 I/O 以获得性能或内存管理优势的重要工作负载受益,填补 Linux 文件系统能力中长期存在的空白。 已有两个主要补丁集被提出但停滞不前:一个是 John Garry 于 2024 年提出的,另一个是 Ojaswin Mujoo 最近提出的。主要担忧集中在 I/O 路径增加的复杂性以及关于该功能是否真正需要的争论上,部分开发者建议应用程序应迁移到直接 I/O。
rss · LWN.net · Mar 2, 22:27
背景: 原子写入确保多块数据操作要么完全成功,要么完全失败,防止仅写入部分数据的”撕裂写入”。直接 I/O 绕过内核的页缓存,而缓冲 I/O 则利用页缓存提升性能。ext4 和 XFS 等文件系统已支持原子直接 I/O,但由于与页缓存和回写机制的交互,将其扩展到缓冲 I/O 更为复杂。
社区讨论: 讨论揭示了开发者社区的分歧:PostgreSQL 开发者 Andres Freund 认为,由于内存限制或性能原因,许多用户无法从直接 I/O 中受益,因此对原子缓冲写入存在合理需求。然而,Christoph Hellwig 等开发者则认为,帮助 PostgreSQL 摆脱缓冲 I/O 比在内核中添加复杂的特殊情况更可取。
标签: #linux-kernel, #filesystems, #storage, #io, #atomic-operations
摩托罗拉与 GrapheneOS 基金会合作,旨在加强智能手机安全 ⭐️ 8.0/10
2026 年 3 月,摩托罗拉宣布与 GrapheneOS 基金会建立合作伙伴关系,双方将合作加强智能手机安全,并共同开发未来兼容 GrapheneOS 的设备,其中包括计划发布一款预装 GrapheneOS 的智能手机。 此次合作标志着增强型移动安全向主流市场迈出了重要一步,一家主要的智能手机制造商与一个领先的、注重隐私的 Android 发行版结盟,可能为安全设备设定新的行业标准。 GrapheneOS 是一个专注于隐私和安全的免费开源 Android 操作系统,历史上主要为 Google Pixel 设备开发。此次合作表明摩托罗拉致力于提供开箱即具备增强安全性的设备,超越了小众的自定义 ROM 社区范畴。
rss · LWN.net · Mar 2, 14:58
背景: GrapheneOS 是一个基于 Android 开源项目 (AOSP) 构建的、注重安全强化和隐私保护的操作系统。它由非营利组织 GrapheneOS 基金会开发,以其强大的安全增强功能(如改进的沙盒和验证启动)而闻名,同时保持与 Android 应用程序的兼容性。像 GrapheneOS 和 LineageOS 这样的自定义 Android 发行版通常由用户自行安装以替换制造商的系统,但与设备制造商合作进行预装的情况则较为罕见。
标签: #mobile-security, #android, #grapheneos, #industry-partnership
Qwen3.5-9B 发布:采用混合 Gated DeltaNet/Attention 架构的 90 亿参数视觉语言模型 ⭐️ 8.0/10
Qwen 团队发布了 Qwen3.5-9B,这是一个新颖的 90 亿参数视觉语言模型。它采用了一种混合架构,以 8 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN)) 的模式,将 Gated DeltaNet 层与标准的 Gated Attention 层相结合,并在基准测试中表现出色,据报道其性能超越了一些更大的前代模型。 此次发布意义重大,因为它提供了一个能力强大、中等规模的模型,其效率足以在 16GB GPU 等消费级硬件上运行,使得先进的视觉语言 AI 技术更加普及。其新颖的混合架构在部分基准测试中超越了更大的模型,这代表了开源 AI 社区在模型效率和设计方面迈出的重要一步。 该模型原生支持 262,144 个令牌的上下文长度,并可扩展至 1,010,000 个令牌。它采用了多步训练(MTP)方法,并且 GGUF 格式的量化版本已经可用,这对于在资源受限的硬件上部署至关重要。
reddit · r/LocalLLaMA · jacek2023 · Mar 2, 12:33
背景: Gated DeltaNet 是最近提出的一种架构,它结合了来自 Mamba2 的门控机制和来自 DeltaNet 的 delta 规则,旨在改进线性注意力模型,以获得更好的效率和性能。GGUF(Generic GPT Unified Format)是一种专门为存储和高效运行量化后的大型语言模型而设计的二进制文件格式,使其能够在性能较低的硬件上运行。多步训练(MTP)是一种训练模型同时预测多个未来令牌的技术,可以提高推理速度和模型的泛化能力。
参考链接
社区讨论: 社区反应非常积极,兴奋点主要集中在该模型对于拥有 16GB GPU 用户的易用性,以及其与更大模型相比令人惊讶的强大基准测试性能。关键的讨论点包括对各种量化版本的请求(”QUANTS PLEASE”)、关于哪个特定的量化版本最适合 16GB VRAM 的疑问,以及对使这个 90 亿参数模型能够超越更大前代模型的架构创新的猜测。
标签: #large-language-models, #computer-vision, #model-architecture, #open-source, #quantization
StepFun 发布 Step 3.5 Flash 的两个基础模型及训练框架 ⭐️ 8.0/10
StepFun 发布了其 Step 3.5 Flash 大语言模型的两个基础模型,并开源了其 SteptronOSS 训练框架。此次发布提供了开发该模型所需的基础组件和训练流程。 这是一项重要的开源贡献,为研究者和开发者提供了一个前沿 AI 模型背后的构建模块和方法论。特别是发布训练框架,增强了透明度和可复现性,使得社区能够研究、调整并基于 StepFun 的工作进行构建。 Step 3.5 Flash 模型被描述为具有 110 亿活跃参数,提供“开放前沿级智能”。此次发布的基础模型很可能作为核心架构或检查点,用于微调或扩展出完整模型。
reddit · r/LocalLLaMA · tarruda · Mar 2, 20:57
背景: StepFun 是一家以开发大规模模型而闻名的 AI 实验室,此前曾发布过万亿参数的 Step-2 LLM 以及 Step-1.5V 等模型。“基础模型”通常指在针对特定任务进行专业化之前,经过预训练的通用语言模型。训练框架则是用于训练此类模型的软件基础设施和方法论,包括数据处理、优化算法和分布式计算策略。
社区讨论: 社区反应非常积极且热烈。评论者称赞此次发布“太棒了”并且“对开源意义重大”,特别强调了开源训练流程(SteptronOSS)的价值。一位用户表达了对未来模型更新的期待,表明了对 StepFun 发展的持续关注。
标签: #AI, #open-source, #machine-learning, #model-training, #LLM
研究人员逆向工程苹果 M4 神经引擎,实测揭示 38 TOPS 宣传存在误导 ⭐️ 8.0/10
研究人员 maderix 与 AI 协作,通过绕过 CoreML 框架并直接调用私有接口 _ANEClient,成功对苹果 M4 芯片的神经引擎(ANE)进行了逆向工程和基准测试。实测显示 ANE 的真实 FP16 峰值算力为 19 TFLOPS,而非官方宣传的 38 TOPS,同时还发现了约 32MB 的片上 SRAM 等架构细节,以及绕过 CoreML 可带来的显著性能提升。 这项独立验证揭示了苹果营销宣传与硬件实际能力之间的显著差异,对行业标准的性能报告惯例提出了挑战。这些发现对 AI 硬件基准测试的准确性,以及对在 Apple Silicon 上优化神经网络工作负载(尤其是移动和边缘 AI 应用)的开发者,都具有重大影响。 研究发现,宣传的 38 TOPS 数据是通过将 FP16 性能翻倍(一种行业惯例)得出的,但该硬件并未实现 INT8 相对于 FP16 的双倍吞吐量。值得注意的是,绕过 CoreML 可将小规模操作的吞吐量提升 2 至 4 倍,且 ANE 的卷积运算速度是其矩阵乘法速度的 3 倍。
telegram · zaihuapd · Mar 2, 08:00
背景: 苹果的神经引擎(ANE)是集成在其 M 系列芯片中的专用 AI 加速核心,旨在高效处理图像识别和自然语言处理等机器学习任务。TOPS(每秒万亿次操作)和 TFLOPS(每秒万亿次浮点操作)是衡量 AI 加速器性能的常用指标,由于精度较低,INT8 操作在理论上通常能提供 FP16 双倍的吞吐量。CoreML 是苹果用于在其平台上部署机器学习模型的框架。
参考链接
标签: #hardware-reverse-engineering, #ai-accelerators, #apple-silicon, #benchmarking, #neural-networks
ECH 加密握手协议通过 IETF 全部审批,RFC 9849 进入最终发布前夕 ⭐️ 8.0/10
历经七年、25 次草案修订,TLS 加密客户端握手协议(Encrypted Client Hello,ECH)已于 2026 年 2 月底完成 AUTH48 阶段的全部作者、IANA 及区域总监审批,并已分配 RFC 编号 9849。目前仅剩一项 GitHub 技术问题(#1308)待解决,完成后即可正式发布。 此次最终审批标志着一项重大努力的完成,旨在填补 2018 年 TLS 1.3 遗留的重大隐私缺口。由于获得了 Chrome、Firefox、安卓和 Cloudflare 等主要浏览器和平台的广泛实现支持,ECH 有望通过加密先前暴露的握手元数据,显著提升整个互联网的用户隐私。 该协议的核心作用是加密 TLS 握手中此前以明文传输的元数据,特别是服务器名称指示(SNI)和应用层协议协商(ALPN)。主要实现已经就位,Chrome、Firefox 和安卓平台已在客户端支持 ECH,而 Cloudflare 已于 2024 年底完成服务端部署。
telegram · zaihuapd · Mar 2, 10:28
背景: 在传统的 TLS 握手中,初始的 ClientHello 消息以明文发送,会暴露服务器名称指示(SNI),该字段表明了客户端想要连接的具体网站。这种 SNI 泄露使得网络观察者(如互联网服务提供商或同一网络上的其他人)能够看到用户正在访问哪些域名,即使后续连接是加密的。2018 年定稿的 TLS 1.3 极大地提升了安全性和性能,但并未解决这个 SNI 隐私泄露问题,而 ECH 正是为解决此问题而设计的。
参考链接
标签: #TLS, #Privacy, #IETF, #Network Security, #Protocols
技术深度解析:Linux 内核中 TCP 零拷贝网络的工作原理 ⭐️ 7.0/10
Toke Høiland-Jørgensen 发表了一篇详细的技术概述,解释了 Linux 内核中 TCP 零拷贝网络的工作原理,特别关注了其中涉及的内存管理和异步通知机制。文章描述了 sendmsg() 系统调用如何异步操作,立即返回,而内核稍后会在内存缓冲区可被重用时通知用户空间。 这很重要,因为 TCP 零拷贝是一项关键的性能优化技术,可减少 Web 服务器、数据库和流媒体服务等高吞吐量网络应用中的 CPU 开销和内存带宽消耗。理解这些内核机制有助于开发人员优化网络密集型应用,并为更广泛的高性能计算生态系统做出贡献。 该实现要求用户空间应用程序在内核发送完成通知之前,保持内存缓冲区不被修改,因为数据直接从用户空间传输到网络设备。此优化通过套接字发送调用的 MSG_ZEROCOPY 标志启用,目前支持 TCP、UDP 和 VSOCK 套接字。
rss · LWN.net · Mar 2, 20:12
背景: 传统的网络 I/O 在传输前需要将数据从用户空间缓冲区复制到内核空间缓冲区,这会消耗 CPU 周期和内存带宽。零拷贝网络旨在通过允许数据直接从用户内存传输到网络接口卡(NIC)来消除这些冗余拷贝。在 Linux 中,这是通过 MSG_ZEROCOPY 等机制以及内核与用户空间之间缓冲区生命周期的精心管理来实现的。
标签: #linux-kernel, #networking, #systems-programming, #performance-optimization, #tcp
开源中的’利用悖论’:漏洞如何威胁 FOSS 自由 ⭐️ 7.0/10
在根特举行的 CfgMgmtCamp 2026 大会上,律师兼 FOSS 许可专家 Richard Fontana 提出了开源中的’利用悖论’概念,描述了参与者利用法律和治理漏洞来限制自由或获取优势的反复出现的模式。他认为,要填补这些漏洞并维护自由,必须超越传统的许可方法。 Fontana 指出,自由的基本定义(如 FSF 的四大自由和 OSI 的开源定义)是静态的,而软件的技术、社会和经济’基础设施’却在不断演变,从而产生张力。他还强调,这些定义的守门人通常不愿修订它们,使得开源在这方面成为一个’保守的领域’。
rss · LWN.net · Mar 2, 15:28
背景: 自由和开源软件(FOSS)建立在赋予用户使用、研究、修改和分享软件自由的原则之上。自由软件基金会的’四大基本自由’和开源倡议组织的开源定义是确立这些规范的基础性文件。CfgMgmtCamp 是一个专注于配置管理和基础设施的年度会议,不过其议题已扩展到涵盖开源和 DevOps 的更广泛主题。
标签: #open-source, #governance, #software-licensing, #community, #foss
Qwen 发布新款小型 3.5 模型(0.8B、2B、9B),面向资源受限硬件 ⭐️ 7.0/10
阿里巴巴云的 Qwen 团队发布了 Qwen 3.5 系列中的新款小型模型,具体包括 0.8B、2B 和 9B 参数版本,旨在在有限硬件上提供强劲性能。社区在公告发布后立即开始了对这些模型的量化和测试,各种量化版本很快出现在 Hugging Face 上。 此次发布极大地扩展了拥有消费级或边缘硬件(如旧款 GPU、移动设备和树莓派等单板计算机)的用户对高性能语言模型的访问。这代表了 AI 民主化的重要一步,允许更多开发者和爱好者无需昂贵的云基础设施即可在本地运行强大的模型。 早期的社区测试表明,9B 模型的性能介于 200 亿和 1200 亿参数的开源模型之间。用户报告称,这些 3.5 变体可能与此前的一些 Qwen 版本一样存在“过度思考”的倾向;一个提示工程技巧建议调整提示模板以关闭“思考”模式,并将温度设置为 0.45 左右,以获得更准确的响应,尤其是在视觉任务中。
reddit · r/LocalLLaMA · Illustrious-Swim9663 · Mar 2, 12:32
背景: Qwen 是阿里巴巴云开发的大型语言模型系列,采用宽松的 Apache 2.0 许可证发布。模型量化是边缘设备部署模型的关键优化技术,通过使用更低精度的数据类型(例如,从 32 位浮点数到 8 位整数)表示权重和激活值,来减小模型大小和计算需求。小型语言模型(SLM)通常参数在 100 亿以下,专为在消费级硬件上进行高效推理而设计,基准测试表明,针对特定任务进行微调后,其性能有时能匹配甚至超过大得多的模型。
参考链接
社区讨论: 社区反应 overwhelmingly 积极,用户将此次发布庆祝为 GPU 资源有限者的“圣诞节”。讨论非常务实,集中在即时的量化工作、性能比较(例如,9B 模型性能被定位在 200 亿和 1200 亿模型之间)以及优化输出的提示工程技巧上。社区也对最小模型(0.8B、2B)的能力及其在树莓派等设备上运行的潜力感到好奇。
标签: #llm, #model-release, #edge-ai, #quantization, #open-source
Qwen 3.5 0.8B 多模态模型通过 WebGPU 和 Transformers.js 在浏览器中本地运行 ⭐️ 7.0/10
一位开发者创建了一个演示,利用 WebGPU API 和 Transformers.js 库,在 Web 浏览器中完全本地化地运行了 Qwen 3.5 0.8B 多模态模型。这是在 Qwen 3.5 Small 模型系列发布之后实现的,该系列包含多个为端侧应用设计的参数量版本(0.8B、2B、4B、9B)。 这证明了无需依赖云服务器,直接在用户设备上运行复杂的多模态 AI 模型的可行性,从而增强了隐私性、降低了延迟,并使 AI 功能在离线或低连接性场景中成为可能。它展示了先进浏览器 API 与高效模型架构的融合,正在拓展 Web 应用中端侧 AI 能力的边界。 该演示的主要性能瓶颈在于模型的视觉编码器组件。开发者指出,虽然这是一个限制,但模型能够运行本身就是一个重要的成就。该演示可以在线公开访问,所使用的具体模型变体是新发布的 Qwen 3.5 Small 系列的一部分。
reddit · r/LocalLLaMA · xenovatech · Mar 2, 17:46
背景: WebGPU 是一个现代 Web API,它提供对设备图形处理器(GPU)的低层级、高性能访问,用于通用计算和图形处理,使得机器学习推理等复杂任务可以直接在浏览器中运行。Transformers.js 是 Hugging Face 推出的一个 JavaScript 库,它将流行的 Python transformers 库的功能移植到浏览器中,允许预训练的 AI 模型在客户端运行而无需服务器。Qwen 3.5 是阿里云推出的一系列多模态大语言模型(VLM),能够处理和理解文本与图像,其中的 ‘Small’ 变体专门针对在消费级硬件上的高效部署进行了优化。
参考链接
社区讨论: 讨论中包含技术见解和故障排查。一位评论者指出视觉编码器是 WebGPU 的常见瓶颈,并建议使用通过 llama.cpp 的 WebAssembly 端口运行的量化 GGUF 模型作为替代方案以获得更好性能。其他评论包括用户报告演示中“开始”按钮无响应、请求查看源代码,以及询问具体使用了哪个 Qwen 变体,此外还有一些幽默或离题的言论。
标签: #WebGPU, #On-Device AI, #Multimodal Models, #Browser ML, #Qwen
Qwen3.5-0.8B 模型在 7 年前的三星手机上以每秒 12 个 token 的速度本地运行。 ⭐️ 7.0/10
一位用户利用 llama.cpp 和 Termux,成功在使用了 7 年的三星 Galaxy S10E 智能手机上本地运行了新发布的 Qwen3.5-0.8B 大语言模型,推理速度达到每秒 12 个 token。这表明一个具备对话能力的 AI 模型如今可以在老旧、低端的移动硬件上运行。 这一成果凸显了模型效率和压缩技术的快速进步,使得先进的 AI 无需依赖云服务即可在资源受限的设备上运行。它为在普及的移动硬件上开发更私密、低延迟、高性价比的 AI 应用铺平了道路,有望推动 AI 技术的民主化。 该手机搭载高通骁龙 855 芯片组,其性能归功于高效的量化(可能是 Q4_0 或 Q8)以及 llama.cpp 中为 ARM 处理器优化的 NEON SIMD 指令路径。虽然模型功能正常,但有社区成员指出它主要理解英语,在其他语言中实用性可能有限。
reddit · r/LocalLLaMA · HighFlyingB1rd · Mar 2, 21:21
背景: Qwen3.5 是阿里巴巴通义千问团队推出的一系列开源权重的大语言模型,其变体涵盖从 0.6B 参数的小模型到庞大的稠密模型和混合专家(MoE)模型。Llama.cpp 是一个基于 C/C++ 的开源推理引擎,旨在通过各种硬件(包括 CPU)高效运行 LLM,它利用量化技术来减小模型大小和内存需求。Termux 是一个用于 Android 的终端模拟器和 Linux 环境应用,允许用户运行命令行工具和软件,使其成为进行设备端 AI 实验的热门平台。
参考链接
社区讨论: 社区对技术进步表示惊叹,指出一年前还无法想象一个 0.8B 的模型能进行连贯的对话。技术讨论集中在所使用的量化方法(Q4_0 与 Q8)、NEON SIMD 优化在老旧 ARM 芯片上实现性能的作用,以及 llama.cpp 的安装细节。一些用户分享了他们在不同手机上的测试结果,而另一些用户则质疑较小模型在非英语任务中的实际效用。
标签: #edge-ai, #llama.cpp, #model-efficiency, #mobile-computing, #qwen
Qwen3.5 的 9B 和 4B 模型在基准测试中表现超越更老、更大的模型。 ⭐️ 7.0/10
阿里巴巴的 Qwen 团队发布了 Qwen3.5 系列下的新 90 亿和 40 亿参数模型,基准测试结果显示,9B 模型在通用知识和推理等特定任务上的表现超越了更老的 Qwen 30B 和 80B 模型。这标志着小型语言模型(SLM)在单位参数性能效率上的一次重大飞跃。 这展示了模型效率的快速进步,即更小、更新的模型可以超越其参数规模大得多的前辈,使得强大的 AI 在边缘部署中更易实现,并降低了计算成本。它挑战了模型能力与参数数量线性相关的传统观念,并突显了架构创新和训练数据质量的重要性。 尽管在通用知识和多模态任务上表现令人印象深刻,但据报道,新模型在推理和编码基准测试中的得分低于某些开源 GPT 模型,这表明它们可能有所专长或存在性能权衡。社区还指出,缺乏与之前表现优异的 Qwen3 4B 2507 模型的直接对比,并批评所展示的图表可读性差。
reddit · r/LocalLLaMA · Nunki08 · Mar 2, 12:44
背景: Qwen 是阿里云开发的一系列大语言模型。’3.5’ 的命名表示该系列中的一个代际。参数指的是模型在训练过程中学习的内部变量,传统上,更多的参数与更强的能力相关,但也意味着更高的计算需求。像这些 4B 和 9B 模型这样的小型语言模型(SLM),其设计目标是足够高效,以便能在个人电脑或边缘设备等算力较弱的硬件上运行。基准测试涉及在标准化任务上测试模型,以衡量和比较它们在推理、编码、知识等领域的性能。
参考链接
社区讨论: 社区对 9B 模型相对于更大前辈模型的性能表示惊讶,问题集中在技术性的“如何实现”上——推测是关于压缩或向量化技术。人们对实际比较有浓厚兴趣,例如运行量化后的大模型与高精度小模型之间的性能权衡。批评意见包括图表可读性差,以及希望与 Qwen3 4B 2507 等特定先前模型进行更直接的对比。
标签: #llm-benchmarks, #model-efficiency, #qwen, #small-language-models, #performance-comparison
Qwen 3.5 2B 模型在多种文本类型上展现出卓越的 OCR 能力。 ⭐️ 7.0/10
Qwen 3.5 2B 视觉语言模型在光学字符识别(OCR)任务上表现令人印象深刻,能够处理各种角度和质量的文本,从清晰扫描件到低质量照片,并支持结构化输出。用户报告称,在读取护照机读区(MRZ)等特定任务上,其表现优于前代模型 Qwen 3.5 0.8B,后者曾导致重复字符的输出错误。 这一进展意义重大,因为它表明一个参数规模小(20 亿)、高效的模型可以在本地提供强大的 OCR 性能,从而可能减少对云服务或专门的、更大模型的依赖以进行文档处理。这为边缘部署开辟了实际应用场景,例如在消费级硬件上处理身份文件、游戏界面和手写文本。 据报道,该模型能够处理手写文本和包含表格的阿拉伯语文件等具有挑战性的案例,并且似乎已经修复了影响 Qwen 3.5 0.8B 模型在护照机读区识别上的重复字符错误。其性能正被积极与其他小型专用 OCR 模型(如 GLM-OCR 和 DeepSeek-OCR-2,它们也大约有 20 亿参数)进行比较。
reddit · r/LocalLLaMA · deadman87 · Mar 2, 15:34
背景: Qwen 是阿里云开发的大型语言模型系列,其中许多变体以开放权重模型形式发布。Qwen 3.5 2B 是一个视觉语言模型(VLM),采用早期融合架构来处理多模态输入。OCR(光学字符识别)是将文本图像转换为机器可编码文本的技术。机读区(MRZ)是护照和身份证底部的一个标准化区域,包含编码的个人数据,由于其特定的字体和格式,通常是 OCR 系统的一个具有挑战性的测试。
参考链接
社区讨论: 社区讨论集中在性能对比测试和实际应用上。用户们正在分享将 Qwen 3.5 2B 与 GLM-OCR、DeepSeek-OCR-2 以及早期 Qwen VL 变体等其他模型进行比较的经验,并注意到其对手写文本的惊人准确性。提出的具体用例包括处理带表格的阿拉伯语法律文件、漫画书文字和游戏界面,用户们正在为每种场景寻求最佳模型的推荐。
标签: #OCR, #Vision-Language-Models, #Qwen, #LocalLLM, #Document-Processing
LM Studio 解析器静默破坏 Qwen3.5 工具调用与推理,串联起长达一年的错误报告 ⭐️ 7.0/10
一位用户汇总了多份关键错误报告,显示 LM Studio 的服务端解析器存在一系列相互关联的漏洞,会静默破坏 Qwen3.5 和 DeepSeek-R1 等模型的工具调用与推理输出。核心问题在于解析器错误地在模型推理区块(如 <think>)内扫描工具调用模式,从而制造了一个递归失败陷阱。 这很重要,因为 LM Studio 是运行本地大语言模型的流行工具,这些静默漏洞使得先进模型看起来比实际能力更差,误导了用户并阻碍了本地化、智能体化 AI 工作流的采用。它凸显了在与使用结构化输出格式的推理模型交互的工具中,拥有健壮的解析逻辑的重要性。 该解析器无法区分模型在 <think> 区块内对工具调用语法的文字讨论与实际尝试进行的工具调用,从而导致解析错误被反馈给模型并引发无限递归。此问题不仅限于工具调用,还会破坏一般的推理输出,并且影响的不只是 Qwen3.5,还包括其他多个具备推理能力的模型。
reddit · r/LocalLLaMA · One-Cheesecake389 · Mar 2, 15:52
背景: LM Studio 是一个图形用户界面和本地服务器,用于在个人电脑上运行开源大语言模型。像 Qwen3.5 和 DeepSeek-R1 这样的模型是“推理”模型,它们通常在生成最终答案或行动(如工具/函数调用)之前,在 <think> 等特殊标签内构建其内部思考过程。工具调用是大语言模型的一项功能,允许其使用特定语法请求执行外部函数(如 API 调用),宿主应用程序必须正确解析该语法才能执行。
社区讨论: 社区情绪普遍支持这份错误报告,用户们验证了问题的重要性并分享了自己令人沮丧的经历。关键观点包括:赞赏其将孤立的报告联系起来,批评 LM Studio 的开发实践(“氛围编程”而缺乏充分测试),以及实用建议——使用如 llama.cpp 服务器等替代方案作为临时解决方案。数位用户确认在 Qwen3.5 模型上遇到了此问题,并正在寻找变通方法。
标签: #local-llm, #bug-report, #tool-calling, #lm-studio, #qwen
小米人形机器人入驻汽车工厂,完成压铸零件自动化装配 ⭐️ 7.0/10
小米宣布其研发的人形机器人已进入汽车工厂压铸车间,完成了自攻螺母上件工站的自动化作业。该机器人连续自主运行了 3 小时,双侧安装成功率达到 90.2%,并满足了最快 76 秒的产线生产节拍要求。 此举标志着人形机器人从实验室演示迈向复杂、真实工业场景的稳定应用迈出了关键一步。它展示了先进 AI 驱动的机器人解决汽车制造等产业中劳动密集型、高精度任务的潜力,可能重塑未来的工厂自动化策略。 该任务基于 Xiaomi-Robotics-0 大模型,采用了端到端数据驱动控制与强化学习技术。它融合了视觉、触觉及关节感知等多模态信息,以应对复杂工况下的精确装配挑战。
telegram · zaihuapd · Mar 2, 08:30
背景: 压铸是一种用于生产高精度、复杂金属零件的制造工艺,在汽车零部件制造中很常见。机器人领域的端到端数据驱动控制,指的是利用基于大量数据训练的模型,将传感器输入直接映射为控制输出的系统。此处的多模态 AI 结合了视觉、触觉等不同的感官输入,使机器人能更全面地理解环境,从而完成操作任务。
参考链接
标签: #robotics, #industrial-automation, #artificial-intelligence, #manufacturing, #reinforcement-learning