GitHub周趋势2026W25 | Headroom 压缩 95% Token、NVIDIA 开源 AI Agent 安全扫描器、…
2026-07-28
2026-07-29 0
本站 7 月 28 日消息,科技媒体 Tom's Hardware 昨日(7 月 27 日)发布博文,报道称乌克兰开发者 Slava S 发布 ESP32-AI 项目,针对乐鑫(Espressif)的 ESP32-S3 开发板,成功部署 2890 万个参数的本地 AI 模型。
本站注:ESP32-S3 开发板由乐鑫推出,配备 512KB 的 SRAM(片上高速存储,访问周期仅需 1 个 CPU 时钟)、8MB 的 PSRAM(通过 SPI 总线扩展的 8MB 内存,访问速度取决于 SPI 时钟配置)和 16MB 的闪存,由于内存容量受限,此前 Dave Bennett 针对该开发板部署 AI 参数上限为 26 万个。
Slava S 采用 Google Gemma 使用的 P er-Layer Embeddings(分层嵌入)技术。模型经过 4-bit 量化后,文件大小为 14.9MB。开发者把 25M 参数嵌入表存入 16MB 闪存。模型每生成 1 个 Tokens,只需读取嵌入表中的少量数据。
尽管 ESP32-S3 开发板已成功部署 2890 万个参数模型,却无法用于聊天或编程;开发者由此设想一款离线咖啡机应用,让设备依据咖啡豆、研磨方式、配比与水温生成内容。