Garry's Blog

Thoughts & Notes

记录技术与生活的碎片

【AI 日报】企业AI成本焦虑全面爆发:特斯拉限支出、Meta Agent遇阻、阿里封禁Claude Code

🔦 今日速览 周末至周一(7月3-6日),AI行业经历"去泡沫化"阵痛:扎克伯格内部承认AI Agent四个月进展不如预期,特斯拉紧急将员工AI周支出限制在200美元,阿里认定Claude Code存在后门风险并宣布7月10日起全面禁用。与此同时,美团开源1.6万亿参数LongCat-2.0模型(全中国产芯片训练),可灵AI完成近30亿美元独立融资,Kim...

阅读全文 全部 30 篇

其他文章

服务器 CPU 供应紧张深度分析

生成日期:2026-07-03 聚焦范围:服务器 CPU,包括 Intel Xeon、AMD EPYC、Arm server CPU、自研云端 CPU, 以及 AI 服务器中的主控 CPU(host CPU)。不讨论 PC CPU 的供需,除非它影响服务器产能分配。 0. 结论 2026 年服务器 CPU 确实更难买了,这不是短期噪声。 但它不是“所有服务器 CPU 全面断货”。实际更像是特...

Token ID 到 Embedding 机制详解

生成日期:2026-06-26 主题:token id 如何变成 embedding、embedding table 的内部机制、位置编码、训练更新,以及它在 LLM 整体流程中的作用 适合读者:知道 LLM 会“分词”,但想弄清楚数字 id 怎么进入神经网络的人 0. 先看结论 LLM 不能直接处理文字。它先把文本切成 token,再把每个 token 映射成一个整数 id,最后用这个 i...

为什么 LLM 要使用 Q/K/V

0. 先看结论 LLM 使用 Q/K/V,不是因为三个字母神秘,而是因为 attention 本质上在做一次“可微的内容检索”: 123Query 负责提问Key 负责匹配Value 负责提供内容 放进 Transformer 里就是: \[ \mathrm{Attention}(Q,K,V) =\mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\rig...

Scaled Dot-Product Attention 详解

0. 先看结论 Scaled Dot-Product Attention 的公式是: \[ \mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V \] 它做了三件事: 用 \(QK^T\) 算“当前位置和其他位置有多相关”。 除以 \(\sqrt{d_k}\),把分数压回稳定范围。 用 so...

Softmax 的来历与 LLM 应用

0. 先看结论 Softmax 做的事很直接:把一组分数变成概率分布。它的思想可追溯到统计物理里的 Boltzmann/Gibbs 分布,后来进入选择理论、统计学习和神经网络。到了 LLM 里,最常见的是两个位置: 输出层:把模型对所有 token 的打分 logits 变成“下一个 token 的概率”。 注意力层:把 query 和 key 的相似度分数变成“该看哪些上下文 token 的权...

向量的几何:减法、点积与距离

向量是线性代数的基石。很多人熟悉向量加法的平行四边形法则,却对减法、点积和距离之间的深层联系感到模糊。本文用几何图解和代数公式,帮你建立从向量减法到点积相似度、再到距离度量的完整直觉。 一、从代数到几何 设平面向量 \[ \vec{a} = (a_x,\ a_y), \quad \vec{b} = (b_x,\ b_y) \] 则减法的代数定义很直接: \[ \vec{a} - \vec{b} =...

KVM API 简介

以下笔记来自阅读:https://www.kernel.org/doc/Documentation/virtual/kvm/api.txt 1. 基本描述 KVM API 本质上是为了控制虚拟机的方方面面而下发的一组ioctl,这些ioctl可以划分为四类: - system ioctl: 对影响整个KVM系统的属性进行查询或设置。创建虚拟机就是其中的一个系统ioctl。 - vm ioctl...

阿里云SIGCOMM22论文阅读

阿里云在今年的网络顶会SIGCOMM上发表了一篇论文:"From Luna to Solar: The Evolutions of the Compute-to-Storage Networks in Alibaba Cloud"。 该文章介绍了阿里云在EBS存储的应用背景下,计算节点和存储节点间网络通信的演进过程。由于文中介绍的网络架构已经在阿里云内部大范围应用,对于同样提供EBS服务的云厂商来...