领域是个热门话题，到市场上就体现在这类产品的出货量以及厂商的宣传口径上。比较有趣的是，虽然智能音箱的所谓“主控”芯片
不过随着边缘算力需求提升，智能语音芯片算力加强本身也是这两年智能家居、智能音箱发展的趋势。比如面向智能音箱的主SoC中，CPU部分就有算力越来越高的趋势。不过通用处理器在面向智能音频设备时，效率并不高，所以我们看到有厂商开始为芯片加DSP与AI专核（NPU）。
这其中相对典型的全志科技近期推出的R329芯片及其智能语音解决方案，借由这颗芯片及对应解决方案，我们大致也能窥见当前智能家居/智能音箱在AI这条路上的发展思路和方向，顺便看看在这类芯片真正有了AI专核以后，高算力的AI智能语音芯片是什么样子。
全球智能音箱芯片市场的主要玩家包括了高通Intel、苹果、全志科技（Allwinner）、瑞芯微（Rockchip）、晶晨半导体（Amlogic）等。我们并不清楚在全球范围内或者国内，“主控”芯片厂商在智能音箱设备中具体的市场份额——不过从既有智能音箱的主芯片来看，国内的竞争似乎也相当激烈。
就全志来说，天猫精灵、小度在家、小度音箱Play、京东叮咚、小爱音箱Play、小爱音箱mini、腾讯听听、网易云音箱、索尼LF-S80D等这些相对较热的智能音箱都在用全志的主控芯片，这也让全志R328、R16、R58成为比较知名的智能音箱主控芯片。全志的R系列在定位上是面向边缘低功耗应用的芯片产品，不只是智能音箱产品：R40/R16另外相对知名的是在BananaPi上有应用，R16也是石头科技扫地机系列产品的主控。
R系列产品中的R328去年也得到了Aspencore的“2019全球电子成就奖”音频处理器产品奖。在去年3月份的中国家电消费电子博览会上，全志展示过其强噪音环境的识别能力。就产品编号来看，R329似乎是R328的迭代产品，不过全志科技发言人告诉我们，这两款产品是不同定位的。
其中“R329是高阶定位，着力于大算力，3-8麦远场智能语音交互，可应用于带电池的超低功耗产品上，且接口丰富”，为当前市场中高端智能音箱提供更好的解决方案；而“R328偏向中端到入门级市场，2-3麦远场智能语音交互，成本更低”。
全志科技表示，R329的两大主要特点就是高算力与低功耗。其中高算力的部分，也更多涉及到了DSP与NPU。我们就尝试从这两方面来看看R329的产品特色。在此之前首先来全局看一看R329的参数配置与特性：
针对完整的智能音箱方案，全志也提供配套的WiFi与蓝牙芯片、音频ADC芯片等，满足不同客户需求。
从这一串配置大致就能看出R329在定位上是预备做高算力的，而且主要针对的是不带屏幕的智能语音交互产品。通用处理器部分选择的是ArmCortex-A53微架构：这部分在整个系统的职能通常是跑操作系统、应用、网络连接等。全志更早的R系列主流方案用的是A7微架构——这也是市面上不少竞品的选择，还有一些选择了A35。
A53和A7都属于高能效比的架构方案，这两者在渲染管线上有着比较多的相似性，比如顺序8级管线。不过前者又有比较显著的同频性能提升，包括改用64位Armv8-A指令集架构与扩展，更完整的超标量支持。A53的双发射有着更强的灵活性，分支预测精度有改进；另外整数、浮点单元、Neon以及存储性能都有提升。
后续的A35实际更多的着眼于效率，它在性能方面定位于A7同档，整体微架构与A53也很相似——前端有一些变化，在取指单元上做了重新设计，取指带宽对能效做了权衡，指令队列更小；Neon/浮点管线在面积效率上有变化。
全志方面为我们提供了A53相较A35的性能提升数据，除了每个周期整数乘法与浮点单精度与双精度FLOPS性能，还有一些基准测试。这个数据也基本符合Arm早前官方给出的，基于不同场景A35性能大约是A53的80%左右。具体到R329芯片，相比R328“提供1.58倍整数算力，1.98倍浮点算力”——后者采用的是双核A7（1.2GHz），所以这个程度的提升也在预期中。
从通用处理器选择A53就能看出R329的定位，不过在IP选择上更能凸显高算力的应该还在于DSP与AI专核。前文就已经提到通用处理器部分跑的是操作系统、应用、网络连接等；DSP负责信号处理算法、音效；还有AI专核，即NPU专门用于本地ASR（自动语音识别）、NLP（自然语言识别）和TTS（Textto Speech）——都是在本地执行的，也就是我们常说的边缘计算。
R329的DSP部分是两个HIFI 4核心——这是CadenceTensilica HiFi DSP系列IP中的一个，在家族定位中也属于偏向高性能的DSP，在手机、车载、数字电视之类的产品上就有相对广泛的应用生态。HIFI 4实则本身就支持多通道基于对象的音频、数字助手前端处理和基于神经网络的ASR，虽然我们知道全志选择了将其中的部分特性交给NPU去完成。
从全志发言人了解到这两个HIFI 4核的其中一个可用作“音频前处理，如降噪、回音消除、唤醒词识别”；一个则可用于“音频后处理，实现音频解码、音效增强、录音等”；配合片上的SRAM可实现“低功耗小模型双麦降噪算法与小模型深度学习唤醒词”。从这个描述可见R329的DSP也有典型的轻度AI计算属性。双核DSP的设计在全志的其他R系列产品中也相当少见，这种设计本身也是为了针对部分音频应用场景提供专门的计算单元，获得更好的能效比，与低功耗相关。有关低功耗的部分还将在后文提及。
不过似乎在全志看来，仅通用处理器+DSP（以及片上SRAM）的设计，在实现更高算力方面仍然不够，所以R329还选配了一个专门的AI专用处理器：周易AIPU。周易AIPU是Arm中国研发的AI处理器IP。加AI专核在行业的同档竞品中似乎还是比较罕见的。
Arm中国此前有提到过AIPU相比DSP的优势，加上现在更多的AI专核也有考虑支持可编程性的问题，以适应不同算法。Arm中国能够利用自身优势来构建AI软件生态，而DSP虽然也能做AI处理，但不同架构间始终没有形成规模生态，对软件开发而言并没有那么友好。另外当然也就是AI专核拥有一套AI和神经网络优化的指令集，在算力和效率上，运行一些专门的负载任务时也会更出色。
Arm中国2018年11月发布的“周易”平台，主要包括两部分，一是AIPU，二是Tengine框架。AIPU最大的特点就是拥有一套AI和神经网络优化指令集，实现包括张量指令、实现定制硬件加速单元的特定AI指令，以及AI计算的标量指令等，另外也支持用户自定义硬件实现。
支持包括TensorFlow等各种通用框架也是当代AI处理器的标配了，Arm中国的资料提到AIPU“支持用户一键式加载算法”，并且通过高效、灵活的张量处理单元（tensor execution cell）实现编程灵活性。
有关AIPU比较具体的效率，全志也提供了一份算力与功耗对比的数据，如上图所示：这个程度的效率当然并不令人意外，毕竟AIPU是AI专核。不过在性能上相较600MHz的HIFI 4有25 倍的优势仍然能够表现出当代开发AI专用处理器的价值和趋势。需要注意的是，这里的对比限于单核性能与功耗。
据了解，全志R329是第一款公开发布的采用周易AIPU的芯片，得到了Arm中国的大力支持，说明双方对未来NPU在智能音箱及人工智能其它领域的应用是非常看重的。所以也比较容易想见R329在面对竞品时有着算力上的更大优势。
至于周易平台除了AIPU之外的Tengine框架，它实际并不依赖于AIPU，应该算是整个Arm AI生态的组成部分。它能够对现有Arm架构的芯片算力做提取，所以Tengine也支持Arm CPU、Mali GPU以及第三方AI单元，为AI应用开发提供一个抽象的运行时接口。全志针对R329自己也有为开发者提供全套软件工具链，很大程度应该也是在为周易生态添砖加瓦。
在更具体的应用上，全志表示：“ASR、NLP、TTS等技术对专用AI处理器提出了迫切需求；传统算法也逐渐被AI算法替代，国内外均有发布，用深度学习做端到端的算法，相对于传统降噪、回声消除和关键词识别算法，效果更优，具有更高的识别率。”
所以全志也告诉我们，在R329用上DSP+NPU+2MBSRAM时，让大模型双麦降噪算法跑在DSP上，大模型深度学习唤醒词跑在NPU上，能够实现低功耗特性。这应该是权衡算力与功耗之后，一种相对合理的搭配方式。
DSP+NPU的搭配，本身就是为了提供更到位的运算效率，理论上自然能够在达成相同算力的情况下达成明显更低的功耗，前文Cortex-A7、HIFI 4 DSP以及AIPU的对比就提到专用核心不只是算力上的显著领先，还在于相同算力下的AI计算单元功耗仅有通用处理器的几十分之一。
不过在实现低功耗的问题上，R329集成在片上的2MB SRAM也是相当重要的组成部分。这种在片上集成较大容量SRAM的设定，在全志以往的R系列产品及同档竞品中也并不多见——某些竞品也有片上SRAM，但同档的配置通常在256KB这样的水平上。
较小的SRAM本身是无法运行低功耗降噪算法+唤醒模型的，还是需要搭配更慢的DDR。在 SRAM的配置下，算法模型大部分算力可以放到SRAM中运行。所以全志表示，R329的待机功耗为（1）内置硬件VAD（语音活动检测），做声音检测亦能实现30mW以下的待机；（2）DSP+RAM，实现小模型双麦降噪算法、小模型深度学习唤醒词，则为50mW待机功耗；（3）DSP+NPU+ SRAM，让大模型双麦降噪算法跑在DSP上，大规模深度学习唤醒词跑在NPU上，实现60mW待机功耗。所以R329本身适用于做带电池的方案。
最后，相关I/O部分实则也是值得一提的。R329集成了2路音频DAC，可以直接外挂模拟功放实现立体声，1.1声道输出，通过I2S则可以实现5.1/7.1声道的音频输出；集成多路音频ADC——相比竞品有更强的音频接口扩展性，也就能够提供多麦拾音方案。
未来我们再观察全志R329的市场表现，大致可以窥见智能语音解决方案的这种高算力是否会成为智能家居市场的趋势。在全志看来，这个答案还是比较肯定的。全志在接受我们采访时，就算力需求在时代变迁中的变化举了个例子：
“比如刚开始通过MP3音频格式实现mulTIroom，客户对于这个功能很惊喜，但随着客户逐步习惯智能语音交互这一基本功能后，就提出智能音箱的音质也要跟传统音箱对标，音频的传输格式就从MP3大幅提升到了AAC，再叠加mulTIroom，这个功能对应的对AP的算力要求就会出现倍数增加，因为是音频功能的体验，还需要确保很高的实时同步性。”
“消费者的要求越来越多，也越来越高，使得对于AP的规格和算力的要求也在同步提升，智能音箱在不断增加新的功能，比如mulTIroom、TWS、DLNA、BT MESH、更震撼的音效；客户逐步不再满足简单EQ和DRC的处理，虚拟低音、3D环绕立体声等高阶音效的需求不断提出。”这大概就是R329出现的契机。
Strategy AnalyTIcs发布的研究报告指出，2019年全球智能音箱出货量总计1.25亿台，比2018年增长了60%。在阿里、百度、小米等推动下，中国智能音箱的出货量从2018年的2190万增长到了2019年的5200万，呈现井喷式增长。
全志科技即是语音主控芯片市场的参与者，智能音箱是该公司重点投入的一个领域。2018年全志在智能音箱的R系列产品已经取得一定突破。2019年全志推出智能语音专用处理器 R328就有不错的市场成绩。R329即是基于R328的升级产品，定位于高算力、低功耗的AI语音专用芯片。
全志发言人表示，2020年全志面向智能音箱会推出多款芯片。除R329之外，目前全志正在规划下一代无屏智能音箱集成WiFi/BTRTOS系统芯片，面向低成本产品市场迭代需求；而针对带屏音箱产品迭代，全志即将推出定位高性能的四核A53芯片R818。
David，加州大学物理博士，美国著名电商数据科学家。本课程介绍什么是深度学习， 深度学习与机器学习的关系，几种神经网络
瑞萨电子物联网及基础设施事业本部传感器解决方案事业部高级总监Uwe Guenther表示：“IAQ市....
「两会」期间，百度智能云与央视网共同推出两会「智」通车，AI 主播「小智」与参与者进行互动。据官方介....
相关研究《What is the State of Neural Network Pruning?》....
美国俄亥俄州立大学助理教授胡楠（现全职于华南理工）团队提出了一种基于机器学习的框架，能够快速预测设计....
闲居在家时，人们往往乐意看看电视、玩玩游戏、看看综艺，以此来度过一段轻松、舒适、安逸的时光。5G、云....
荣耀前不久推出的智慧屏X1系列，不仅带来了4K HDR超高清画质，还将价格拉到了2999元，55寸的....
联网设备自诞生以来就在很短的时间内，已经对我们的生活产生了重大影响。消费者已经在智能音箱和恒温器上进....
人工神经网络（ANN）已被证明可在广泛的应用领域中使用，例如，已被用于汽车工业中常用的基于雷达的防撞....
根据奥维云网（AVC）数据显示自2018年下半年开始，智能音箱市场进入天猫、百度、小米三足鼎立的时代....
“我们进入的新时代是生物技术时代，这将改变人类的意义。”今年2月，在风险投资公司Platform C....
在全球市场，亚马逊公司一季度掌控了23.5%的智能音箱市场份额，高于去年同期的21.5%，谷歌公司获....
这一高度灵活的工具包能够以TensorFlow和开放神经网络交换（ONNX）的格式执行模型，最大程度....
5月27日消息，科大讯飞针对其讯飞智能录音笔进行录音、转写和编辑三大性能升级，新增支持声源定位、12....
在智能音箱市场高速发展的带动下，智能家居中语音交互的控制方式被越来越多人接收。许多智能设备的厂家也希....
通过建立既可解释又准确的模型来改良这种错误的二分法。关键是将神经网络与决策树相结合，在使用神经网络进....
神经网络也有同样的现象。 这是一个巨大的问题，而通用逼近定理给我们关于如何克服这一问题的绝对零提示。
EasyVR 3 Plus是一款多功能语音识别模块。通过它，设计人员可以轻松地将通用、强大、高性价比....
据报道,微软最新申请获得了一项关于智能音箱的专利,或许能够让其智能语音助手重新焕发生机。
据Parks Associates最新的《智能家居购买者之旅》和《用户体验》研究发现,智能音箱正在成....
随着人们生活条件的不断提升，对生活品质也逐渐有了要求，平常我们在观影或听音乐的时候往往都是使用比较普....
自主学习道路基础设施将为降低道路事故提供早期预警 德国汉斯多尔夫，2020年5月27日讯德国的道路上....
智能音箱作为智能家居组件之一，随技术发展，其功能和性能日渐成熟，更丰富了人们生活。
据报道,近期美国市场调研公司Technavio最发布了一份题为“2020-2024年全球条形音箱市场....
卷积神经网络，简称CNN，常用于视觉图像分析的深度学习的人工神经网络。形象地来说，这些网络结构就是由....
2006年，神经网络之父Geoffrey Hinton祭出神器深度信念网络，一举解决了深层神经网络的....
中国科技巨头阿里巴巴计划斥资人民币100亿元（约合14亿美元）为其天猫精灵语音助手开发下一代技术。
《深度学习工程师-吴恩达》03卷积神经网络—深度卷积网络：实例探究 学习总结...
据外媒Digital Trends报道,早在2018年8月,三星就宣布了三星Galaxy Home一....
正如《研究皮肤病学杂志》（Journal of Investigative Dermatology）....
据国外媒体报道，苹果更小、更便宜的智能音箱HomePod似乎越来越接近面市。
随着人工智能、机器学习技术和物联网的兴起，应用开始向收集数据的网络边缘迁移。为缩小体积、减少产热、提....
MathWorks推出了2020a版本，具有用于深度学习的扩展AI功能。
中国国家知识产权局网站上曝光了一项新的小米智能家居音箱专利。该专利包括了一个圆柱形设计的智能音箱原理....
为了提高稀疏3D激光雷达捕获点云的分辨率，MIT的研究人员通过研究，将这个问题从3D问题转换为2D图....
我们能让机器人直接从图像中推理出导航信号吗？为了探索这个问题，我们开发了一种机器人，它可以通过自己在....
关于苹果唯一的新一代智能音箱的传言,Cnet进行了总结。它最终能否与Google Assistant....
闲居在家时，人们往往乐意看看电视、玩玩游戏、看看综艺，以此来度过一段轻松、舒适、安逸的时光。
根据Strategy Analytics的最新研究,2020年第一季度智能音箱的全球销量达到2820....
Strategy Analytics智能音箱和屏幕（SSS）研究团队最新发布的研究报告《智能音箱厂商....
另外，这种开发方式完全依赖人类的驾驶经验，但是人类的驾驶习惯很难量化。一些人看来比较危险的驾驶习惯，....
在多标签学习领域，每个势力都和多个表现相关联，因此最重要的任务是如何让构建的模型学到标签关系。深度神....
彭博社报道,苹果公司正在研究其HomePod智能音箱更小、更便宜的版本。最初有传言称HomePod ....
据ResearchAndMarkets发布的一份报告(Global Intelligent Virt....
近期，欧洲研究与创新中心Imec推出了世界上第一个使用尖峰递归神经网络处理雷达信号的芯片。
据市场调研机构发布的最新报告显示,受新冠疫情影响,非接触生活方式的流行,全球智能音箱市场将迎来了新一....
人们能像研究实验小白鼠那样研究人工智能吗?DeepMind 和哈佛大学的研究人员似乎是这么认为的——....
传统的温、湿度闭环控制通常采用开关控制或PID控制，前者实现简单但精度差，后者精度高，但需建立数学模....
Hinton，与Yann LeCun和Yoshua Bengio一起出席了这次会议，这三大深度学习巨....
人工智能，就好像第四次工业革命，正从学术界的私藏，转变为一种能够改变世界的力量。尤其，以深度学习取得....
随着Google、Microsoft和Facebook等巨头的大力投入，深度学习正在超越机器学习，人....
NPR和Edison Research进行的一项全国性研究发现，现在将近一半的人每天至少使用一次语音....
随着游戏业的不断发展，也衍生出了新的职业，比如陪玩。最近索尼的一份专利显示，索尼似乎正准备为玩家推出....
随着近年来音视频生成技术的不断发展，“虚拟主播”逐渐走入人们视野，并以其在虚拟客服、远程会议、电影剪....
“脑机接口”，也称作脑机融合技术，就是通过芯片和传感器，用大脑控制各种设备，这或许会成为未来人工智能....
美国Honeywell模块自动化控制系统是一种介于大型集散系统、单回路控制器可编程控制器之间的中小型....
在这个控制系统里的电动势估计神经网络模型有7个输入层，14个中间层，和两个输出层。神经网络被离线训练后来处参考速度...
目前，我国在役长距离油气输送管道总长两万公里左右，腐蚀导致的油气泄漏事故时有发生，造成了经济损失、能源浪费。因...
求一个simulink的蓄电池用BP神经网络PID控制电机加速匀速减速运动的模型仿线
针对传统比例积分（ＰＩ）控制在电机控制中控制效果不良的问题，设计了一种基于向后传播算法（ＢＰ）模糊神经网络的Ｐ...
手机短信以其短小、迅速、简便、价格低廉等优点成为一种重要的通信和交流方式，受到众多人士的青睐。然而， 手机短信与...
