思必驰自研AI芯片不仅方式独特 首代毫瓦级AI语音芯片也仅用1年

AI 热潮催生了很多初创公司，其中有不少 AI 芯片公司。我们看到许多巨头和初创公司都把目光锁定在 AI 视觉芯片。不过，从 2018 年上半年开始 AI 语音芯片也陆续发布，2019 年 1 月 4 日，思必驰在北京正式发布第一代 AI 语音芯片 TAIHANG。值得注意的是，这款芯片出自思必驰与中芯国际下属投资公司中芯聚源的合资公司上海深聪智能，这究竟是为什么？

  AI 语音技术真的比图像挑战小吗？

AI 图像和语音是 AI 技术应用的两大方向，相比之下图像如今受到了更大的关注，一方面是因为有安防和自动驾驶汽车等应用市场的驱动，另一方面也有政策的支持。与此同时，有人认为相比图像，语音的技术挑战更小，现有的芯片也已经能够满足 AI 语音的需求，这是否存在一些误解？

思必驰 CTO/深聪智能 CEO 周伟达接受媒体专访时表示：“目前 AI 图像处理大部分使用 CNN，CNN 最大的瓶颈不是带宽和存储，而是并行计算，但解决并行计算问题用冯诺依曼 CPU 架构做乘法的加速相对而言是好做的事。AI 语音则使用 DNN，RNN 系列的 LSTM、BLSTM，这其实有比图像更大的挑战，一个是并行乘法计算，另一个是模型参数更大，这会让目前的 CPU 架构面临很大的带宽瓶颈。”

“之所以 AI 图像更先受到业界的关注，一方面是市场的需求，另一方面是因为学术圈和工业界认为 CNN 的硬件优化难度小于 LSTM 的大规模参数模型。”周伟达进一步说明。

因此，可以明确的是深度学习算法从 2005 年提出到现在，其在语音识别、图像视觉领域相比传统算法都带来了明显的改进。并且，无论是 AI 图像还是 AI 语音，现有的芯片都能够处理，但算力不够效率不高，都需要专用的 AI 芯片。

思必驰 CTO/深聪智能 CEO 周伟达

为什么选择自研 AI 芯片？

AI 的火热让市场上涌现了不少 AI 芯片初创公司，但芯片是一个技术密集、人才密集、资金密集的高门槛的行业，并且芯片真正的成功并非量产，还有后续的落地应用以及不断的迭代。这也让芯片的投资回报周期比较长。思必驰作为一家以算法和软件见长的公司，是什么让他们下定决心自主研发芯片？

周伟达在言由芯生——2019 年思必驰 AI 芯片暨战略发布会上举了个例子，他表示思必驰曾经对接过一个最复杂的场景，算法运行在 4 核 Arm 的芯片上，占用了芯片 50%-60% 的计算量，语音作为一种交互手段占用这么高的计算量在许多应用场景是难以接受的。

因此，思必驰决定做 AI 语音专用芯片希望解决通用芯片的三个闭环： 通用芯片无法和数据产生连接；通用芯片无法和市场产生连接；更重要的是通用芯片没有算法，算法是灵魂，芯片是框架。没有灵魂的框架产生不了价值的，必须借由专用芯片才能够实现芯片未来的潜能。

AI 语音对专用芯片的需求毋庸置疑，但市场需求才是更强的驱动力。思必驰 CEO 高始兴在发布会上提到，思必驰打通了全链路对话技术，深化软硬结合，借助 DUI 平台推进定制规模化，通过“会话精灵”提供交互式信息服务，实现快速落地。在车联网后装、智能音箱、儿童平板/故事机、知识机器人等领域市场占有率均第一，在汽车前装、电视/白电、智能客服等重点领域市场增速第一。未来，思必驰将整合智能终端方案能力与会话精灵智慧服务能力，形成 All In One 解决方案，进入酒店、地产、物流、养老、医疗、教育、安全、社区等更多行业。

雷锋网也了解到，思必驰在 2017 年实现了收支平衡，2018 年迈向了盈利。这其中有市场对语音需求的快速增长的大背景，比如智能音箱的出货量将从 2018 年的 1800 万增加到 2000 万，故事机在 2018 年出货也将超过 2000 万，以及智能手机在 2018 年都陆续加入了语音助手的功能。当然，思必驰在各个领域保持市场占有率第一更是他们最终选择进入芯片领域的底气。但是，周伟达接受采访时表示思必驰擅长的是算法和软件，最终决定最 AI 芯片也有很多顾虑。

  为何走出不一样的 AI 芯片路？

既然已经决定自主研发 AI 芯片，如何做就是接下来的关键问题。周伟达告诉雷锋网，思必驰进从 2017 年开始行了一年的调研 ，刚开始想与 IP 提供方合作，包括将思必驰的算法移植到他们的 CPU、DSP 上，但最终发现不对硬件做优化，直接进行算法的移植效率并没有明显提升。

与 IP 提供方的合作带来的提升这与思必驰的期待相差甚远，接下来，思必驰又接触了芯片外包设计公司，这类公司可以根据给定的芯片需求设计出芯片，但由于芯片外包设计公司采用项目制，在芯片实现之后，后续 PPA（Performance、Power、Area）的优化他们不会继续进行。但高效能的芯片可能设计需要 20% 的精力，后续的优化则需要 80% 的工作量。

与芯片外包公司的合作也行不通，思必驰又尝试与具备丰富芯片设计经验和市场经验的 SoC 公司合作，但是即便思必驰免费投入算法团队与 SoC 公司联合设计和优化，一年下来计算效率也只改进了 20%。

思必驰发现与芯片设计公司合作的方式也走不通，因此想到能否建立更深度的合作，也就是芯片公司出设计团队，思必驰出算法团队组建合资公司。但这其中也有不少困难，比如 SoC 公司意愿不强，以及未来还会涉及知识产权的问题。

同样是深度合作的模式，思必驰又想到与芯片代工厂合作，因为芯片代工厂对 IP 的验证以及芯片的生产非常有经验，也与芯片产业链的上下游都有很好的对接，对芯片的量产、良率、订货和交货周期都有很好的保障，对思必驰而言是一个不错的选择，当然，代工厂希望合作的是成熟的 IP。

最终，思必驰在拜访了芯片产业链上大大小小的近百家企业，并在调研的过程中付诸了行动之后，2018 年 3 月，思必驰携手中芯国际下属投资公司中芯聚源，共同注资成立上海深聪半导体有限责任公司（简称“深聪智能”）正式开启造芯之路，8 月开始流片，11 月点亮验证。

  首代 AI 芯片典型工作场景功耗实现毫瓦级

基于此前的调研以及在 2017 年 12 月份通过传统对接平台就已经完善了所有算法的移植定点化和优化，深聪智能成立之后就开始正式定义思必驰的第一款人工智能语音芯片，一个月的时间定义了芯片完整的规格书，4 月份开始进行了芯片的底层的技术研发，集成验证以及仿真以及优化，不到 5 个月的时间思必驰的第一款芯片在 8 月 7 日成功流片，并在当天点亮。

不过，AI 算法还在不断演进，这对终端 AI 芯片的设计提出了更大的挑战。对此，周伟达表示，得益于思必驰在市场上对接过大量的这 IoT 智能设备，我们对市场的需求非常了解。另外我们 14 篇论文入选 ICASSP 刷新国家级自主创新能力新记录，我们的算法研究是超前的，对未来两三年或者更长时间都有规划预测。思必驰的 AI 芯片已经做好了设计和规划，首先是保证目前的算法能很快的移植进去，其次是我们对接下来两三年内的做优化留了一定的空间。

这款快速流片的 AI 芯片就是深聪 TH1520，据深聪智能 CTO 朱澄宇介绍，TH1520 进行了算法硬件优化，基于双 DSP 架构，内部集成 codec 编解码器以及大容量的内置存储单元，同时，TH1520 采用了 AI 指令集扩展和算法硬件加速的方式，使其相较于传统通用芯片具有 10X 以上的效率提升。此外，TH1520 在架构上具有算力及存储资源的灵活性，支持未来算法的升级和扩展。

TH1520 兼具低功耗及实用性，采用多级唤醒模式，内置低功耗 IP，使其在 always-on 监听阶段的功耗低至毫瓦级，典型工作场景功耗仅需几十毫瓦，极端场景峰值功耗不超过百毫瓦。

对比来看，如果使用 Arm 芯片，工作场景性能表现优化好的至少需要 500 毫瓦，有些则是瓦级功耗。周伟达接受专访时表示，毫不夸张的说，我们做 AI 算法跟硬件结合做优化的时候，算法优化到指令集，内存优化到 byte 级。当然，这个过程中也经历了软硬件团队从互相不理解到最终的默契配合。

另外，TH1520 支持单麦、双麦、线性 4 麦、环形 4 麦、环形 6 麦等全系列麦克风阵列，同时支持 USB/SPI/UART/I2S/I2C/GPIO 等应用接口和多种格式的参考音，能在各类 IoT 产品中灵活部署应用。

周伟达也表示，TH1520 定位于各类终端设备，并针对家居环境进行算法优化，能够快速落地，降低成本、降低功耗，大幅度提升电视、盒子、白电、平板、灯具等产品的用户体验。

发布会现场，思必驰展示了 TH1520 在音箱、电视以及洗碗机的三个 Demo，并表示更高级的功能还在调试中。

另外，周伟达向雷锋网透露 TH1520 最晚将在今年 Q2 产量。他还透露思必驰对于芯片也有自己明确的规划，目标是能够研发出合适的类脑芯片，目前已经取得了一些进展。

开放是思必驰的态度

有了自研的 AI 芯片之后，思必驰能让终端语音处理能力的提升，这不仅能够实现更多的离线语音功能提升体验，减少数据传输到云端，同时基于芯片中加入的芯片密码，能够更好地保护用户的隐私。

当然，更重要的是思必驰-深聪将打造更贴合产品需求的人工智能交互 “云+芯” 整体解决方案。这是否意味着思必驰更倾向于提供完整的解决方案，周伟达表示我们会根据客户的需求，可以提供软硬一体的 IP，芯片到 Turnkey 解决方案，我们更希望以产品的性价比吸引用户，也希大家能够一起先把语音市场做大。

思必驰的开放不仅仅体现在最终的产品方案上，周伟达表示深聪智能也希望能与芯片产业链的各方合作，包括 IP 提供方，芯片设计外包公司。另外，深聪智能希望不仅做人机语音的交互，未来也可能做图像，深聪智能欢迎更多做视觉，做图像甚至做 AI 金融的公司一起与跟深聪智能合作研发更智能的类人脑的高效能的人工智能计算芯片。

小结

芯片是 AI 发展的关键要素之一，当然对于算力的追求也让更多的芯片公司意识到需要与算法和软件公司合作。不过在思必驰 AI 芯片的研发中则是思必驰这家以 AI 语音算法见长的公司从语音算法和市场需求的角度出发，进入芯片市场，经过长期调研和慎重考虑最终以合资公司的方式完成 AI 芯片的研发，这个过程克服了许多挑战，现在还很难说这种模式一定能获得最好的成果，但却是思必驰经过探索后最合理的选择。

在采访的过程中，也能明显的感受到思必驰开放的态度，不仅是对于研发 AI 芯片合作的开放，更是以开放的态度联合更多的人去推动 AI 语音技术的普及。