边缘AI赛道,疯狂收购
【来源:虎嗅网】
本文来自微信公众号:电子工程世界 (ID:EEworldbbs),作者:付斌
前几日,意法半导体(ST)收购加拿大AI初创公司Deeplite的消息引发行业关注。Deeplite号称边缘AI的DeepSeek,该公司在模型优化、量化和压缩方面有独特技术,可使AI大模型在边缘设备上运行得更快、更小、更节能。
自从DeepSeek带火了蒸馏模型以后,更多人开始关注AI大模型在边缘端的部署。而在过去,TinyML一直也在MCU领域很火热。现在,边缘AI走得更快了,市场也正在走向爆发。
ST的期盼:打造先进的边缘AI系统
ST之所以在最近收购DeepLite是因为两家公司拥有很好的协同效应:该公司的优化、量化和压缩深度学习模型技术,无疑能够加速ST的首款高性能STM32N6的采用。
在商业上部署深度学习模型时,面临的重大挑战是它们的运行规模、处理器量和功耗密集程度。Deeplite通过提供自动化软件引擎来优化DNN(深度神经网络)模型,并在任何设备上启用AI进行边缘计算,从而解决了这个问题。
说起来,DeepLite这家公司的产品很有意思,简单来说就是AI套娃,使用AI自动使其他AI模型更快、更小、更节能,从而创建高度紧凑、高性能的深度神经网络,以部署在安全摄像头、传感器、无人机、手机和车辆等边缘设备上。
这家公司在早期很受关注,曾经被Gartner、Forbes、Inside AI和ARM AI评为首屈一指的边缘AI创新者。
Deeplite项目于2017年从TandemLaunch孵化器启动。2019年该项目从TandemLaunch分拆为一家独立的科技公司。当时联合创始人Ehsan Saboori博士、Davis Sawyer和Nick Romano联手将AI带入日常生活。自2020年年中首次发布Deeplite的Neutrino™软件以来,主要OEM品牌、半导体和应用公司对Neutrino的自动优化引擎产生了巨大的需求。
AI工程师可以在PyTorch、ONNX或TensorFlow等现有MLOps框架中使用该软件来创建高度紧凑、节能的AI模型,从而节省云成本,并允许新应用程序在电池供电的小型边缘设备上运行。根据PitchBook的数据,Deeplite此前已融资647万美元,其加拿大投资者包括BDC Capital、Desjardins Capital和Somel Ventures。
总之,现在ST的整体生态有了很大的补全。从官网来看,其不仅拥有很强大的硬件MCU、MPU,还拥有很强大的软件生态。
高通拿下明星公司:迈出重要一步
今年3月,高通(Qualcomm)宣布将收购边缘AI开发平台Edge Impulse,希望此举能扩展其对支持IoT的产品的AI能力。据报道,该收购预计将在几周内完成交易,并且将保留Edge Impulse品牌。
与高通联手将加速对高通Dragonwing处理器的支持,但Edge Impulse的平台将继续向来自公司硬件合作伙伴的MCU、CPU、GPU和NPU用户开放。Edge Impulse将维护其当前网站(品牌为“Edge Impulse,一家高通公司”)。
Qualcomm Dragonwing处理器具有设备上的AI推理、计算机视觉、图形和处理功能。Edge Impulse目前支持Dragonwing QCS6490和QCS5430处理器,并计划为工业和嵌入式物联网应用增加对其他Dragonwing处理器的支持。
Edge Impulse在嵌入界的地位不可小觑。Edge Impulse的开发平台包括用于数据收集和准备、模型训练、部署和监控的工具,具有少量代码或无代码界面。开发人员使用Edge Impulse的平台将计算机视觉、时间序列数据、音频事件和语音识别等AI功能添加到资产跟踪和监控、制造、异常检测和预测性维护系统中的嵌入式系统中。
Edge Impluse这家公司的名号很多人都听说过,但可能很少深入了解过。这家公司以TinyML(Tiny Machine Learning)为服务,于2019年成立,创始人Zach Shelby和Jan Jongboom都来自Arm,致力于提供最新的机器学习工具,使所有企业都能打造更智能的边缘产品。根据财务数据库,目前该公司已经筹集了超过5000万美元。在2021年3400万美元的B轮融资中,其估值为2.34亿美元。
Edge Impulse解决方案被广泛应用于健康穿戴设备制造商如Oura、Know Labs和NOWATCH,工业组织如NASA,以及顶尖的芯片供应商,受到超过80000名开发人员的采用,并已成为企业和开发人员信赖的平台。
虽然它并非唯一的TinyML软件方案商,但相比来说,它拥有比较直观易用的Web界面,说白了,就是开个网页就能用,最重要的是,它对开发人员免费。
值得一提的是,Edge Impulse的特点是具有边缘优化神经(EdgeOptimised Neural,EON)编译程序。根据其官方网站介绍,以该编译程序编译出来的神经网络推论模型,与TFLite Micro相比,可以少使用25%~55%的RAM内存与少使用35%的储存空间。
另外Edge Impulse也在其官方Blog上发表技术实证专文,运用他们的数字信号处理区块(DSP Block)来对声音进行推论前的前置处理,可以更快完成推论、更精准推论,以鸟叫声辨识为例,速度快48%,精准度增7%。
NXP收购NPU公司:重新定义智能边缘
今年2月,NXP的一则收购也引发了行业震动。彼时NXP宣布已达成最终协议,将收购高性能、高能效和可编程离散神经处理单元(NPU)的行业领导者Kinara。
这些设备支持广泛的边缘AI应用,包括多模态生成式AI模型。此次收购将是一项价值3.07亿美元的全现金交易,预计将于2025年上半年完成,但须满足惯例成交条件,包括监管部门的批准。
Kinara是一家美国半导体公司,2013年由Rehan Hameed、Wajahat Qadeer和Jason Copeland创立,最初名为Core Viz,创立后公司更名为Deep Vision,2022年再次更名为Kinara。
Kinara的分立式NPU(包括Ara-1和Ara-2)在性能和能效方面处于行业领先地位。这使它们成为视觉、语音、手势和各种其他生成式AI驱动的多模式实现等新兴AI应用的首选解决方案。这两款设备均采用创新架构,支持映射推理图,以便在Kinara的可编程专有神经处理单元上高效执行,从而最大限度地提高边缘AI性能。这种可编程性确保了AI算法在未来不断从CNN发展到生成式AI和代理AI等新方法时的适应性。
Ara-1是第一代分立式NPU,性能方面Resnet50-v1:100 inferences/sec.、MobileNet-v1:554 inferences/sec,延迟方面Resnet50-v1:10 msec.、MobileNet-v1:1.8 msec,功耗方面1.7W@600MHz,封装方面为15 mm x 15mm EHS-FCBGA。
Ara-2是第二代NPU,能够实现高达40 TOPS的性能,专为实现生成式AI的系统级高性能而优化。具体性能方面Stable Diffusion 1.4:7 secs/image、LLaMA-7B:12 output tokens/sec、MobileNetVl SSD:974 1PS(1.03 ms latency),功耗小于2 Watts,存储升级为16 GB LPDDR4(X),封装尺寸为17 mmx17 mm FCBGA。
软件方面,Kinara Al软件开发工具包(SDK)将训练好的A!模型优化地应用于Ara-1和Ara-2硅模块。Kinara的全可编程计算引擎允许我们的模型编译器快速适应几乎无限的神经网络架构范围。
边缘AI的野望
在AI圈里一直有种“越大越强”的迷思。但大模型虽好,却也不“接地气”。
所以,专家曾经多次预测,世界上不需要太多大模型,因为大模型太费电,真正让AI落地的地方则是边缘和端侧。
有预测显示,到2025年,75%的数据将在边缘处理,边缘侧AI MCU的市场潜力巨大。
这三笔交易凸显了两个重要趋势:首先,AI/ML技术现在是嵌入式系统设计中硬件和软件堆栈的重要组成部分;其次,作为芯片制造商AI战略的一部分,这些厂商将越来越多地为其半导体器件提供补充性工具,以满足嵌入式AI/ML学习的全方位需求。因此,预计未来还会有更多此类交易。
其他主要的MCU制造商也在不断收购该领域的初创公司,并积极为竞争做准备。例如,瑞萨电子收购了Reality AI,英飞凌收购了瑞典的Imagimob,恩智浦推出了机器学习软件eIQ和AI工具链NANO。人工智能。这表明对边缘AI计算的需求正在迅速增长,而MCU作为边缘设备的核心组件,将在这一趋势中发挥重要作用。
可以看出,边缘AI将会是接下来几年MCU的必争之地。随着MCU厂商接连迎接自己的新CEO,这些厂商的战争或许会继续增加。
参考文献
[1]EETimes:https://www.eetimes.com/qualcomm-hopes-to-expand-its-intelligent-iot-with-edge-impulse-acquisition/
[2]EDN:https://www.edn.com/why-embedded-chipmakers-are-acquiring-ml-software-firms/
[3]Semicone:https://www.semicone.com/article-200.html
[4]NXP:https://www.nxp.com/company/about-nxp/newsroom/NW-AI-PR-2025
[5]Kinara:https://kinara.ai/
[6]DeepLite:https://www.deeplite.ai/
本文来自微信公众号:电子工程世界 (ID:EEworldbbs),作者:付斌