一颗AI视觉SoC是由哪几部分组成的？简析瓴盛JA310芯片

作为一家在成立之初就颇具争议的企业，瓴盛科技上周在成都举办了一场"2020 AIoT生态峰会暨瓴盛‘芯视觉’产品发布会" 。瓴盛科技CEO肖小毛在会上说："瓴盛科技在高通、大唐、智路资本、建广资产非常有远见有前瞻的视野下，在2018年经过商务部审批正式成立了，在2019年经过四川省政府、成都市政府的支持落地双流，同一年又成为发改委第二批重点合资企业之一，而且我们瓴盛是四川唯一的一家。"
这席话基本已经概括了其背景。即便资方令其话题性十足，这家公司还是在去年9月正式入驻成都双流的。
这次发布会主要发布的是JLQ JA310这颗AIoT SoC（以及定位相对更低的JA308）——瓴盛科技表示这是其首颗自主研发的芯片。我们恰好能够借助这颗JLQ JA310芯片，去理解、明晰如今主流的AIoT芯片究竟具备哪些特点以及如何构成，毕竟JA310在其中还是极具代表性的。
重在AI视觉计算的芯片先来看看这颗芯片整体配置与参数情况。瓴盛对于这颗芯片透露的细节是比较少的，我们可以结合当天发布会上，三星Foundry的主题演讲，来看看这颗芯片的大致构成。
JA310的基本参数如下表所示：

CPU：Arm Cortex-A55 @1.5GHz x4
ISP：单路4K@30fps；双路2K+2K@30fps
视频编码：4K/1080p/720p @30fps
视频解码：4K @30fps
显示：1080p @60fps
NPU：2 TOPS（1152 INT8 MAC操作？）
内存：支持DDR3/L/4/LP4（32bit）
闪存：支持SPI NOR/NAND/eMMC
I/O：Ethernet（RGMII&RMII/MII）/I2S x5/USB2.0 x2/MIPI/LVDS/PWM/GPIO/UART/I2C/SPI/SDIO
无线外设：适配主流Wi-Fi/4G/5G模组/其他外设完成BSP级别整合
制造工艺：三星11LPP
封装：15x15mm 493 Ball

另外一颗JA308配置上的主要差别在视频编码支持降至最高2K，ISP部分配置稍低，电池管理单元可能会有差异。其余组成部分是类似的。
虽然缺了很关键的功耗数据（只是提到11nm工艺相比28nm工艺功耗降低70%），但看起来这仍是主要应用于视觉计算的典型AIoT SoC，尤其其中的ISP（影像处理单元）和视频编解码处理能力，而且还有专门的NPU单元——也就是AI处理单元。
现在市场上会将AI专核称作"NPU"的主要也就是华为、Arm和三星，瓴盛并未提及这里NPU的IP来源，我们猜测可能是Arm 。（高通的AI引擎并没有构成一个专核；联发科则将AI专核称作APU；苹果的AI专核叫NE）
我们去年曾经撰文分析过Arm的NPU IP，NPU本质上是专用的CNN卷积神经网络（与RNN递归神经网络）处理单元，很大程度上也是为了提升视觉计算的效率存在的。所以JA310/JA308的定位还是一目了然的。
瓴盛在列举其应用场景时也提到了智能安防、机器视觉（机器人/工业相机/ADAS辅助驾驶）、人脸识别、视频直播、智能显示（智能交互终端）；另外蜻蜓点水式地提到了对NLP自然语言处理的支持。我们在展厅现场看到了不少立体视觉（stereoscopy）解决方案，这类的确对算力有要求的视觉感知能力应用上，后文还会详述。
视觉与AI能力有关这颗SoC，能探究的细节其实是很少的，毕竟官方给出的信息的确有限。我们尝试从有限的资料中，给出一些推测和信息量。
JA310的核心组成应该就是ISP、NPU与VPU（视频编解码）了。ISP部分前文已经提到，"双引擎"，支持双路2K+2K@30fps，或者单路4K@30fps的视频记录。瓴盛科技首席营销官成飞给出的PPT中，提到这颗ISP的一些功能，包括AWB（自动白平衡）、ANR（主动降噪）、3DNR（3D降噪，一种将空间与时间过滤器做结合的抑噪技术）、AI ROI（Region of Interest）、BLC（黑电平校正）、HDR等。
这些其实都算是ISP pipeline上比较常见的特性，包括其中列举的视频宽动态范围处理；也是当代提供高保真影像数据，为视觉计算做服务的保障。三星应用于手机市场的Exynos以及高通骁龙SoC的ISP就基本都包含上述功能，也有"双引擎"的选择。或许在AIoT应用上，这样的ISP的确称得上是高规格。
将图像数据应用于AI算法，就要靠AI单元了。瓴盛称其为NPU，如前文所述，这可能是Arm的IP 。市面上的某些AIoT芯片的产品实则没有AI专核，像高通这类厂商，更倾向于采用加强现有处理器（如为DSP加tensor核心），并结合GPU、CPU等单元做协同计算，而不是采用AI专核。
瓴盛在标称的数据上提到了这颗NPU的最高算力为2 TOPS 。Arm现有的Ethos系列NPU产品中，虽然也有Int8算力达到2 TOP/s的一款：即Ethos-N57 。不过Arm的NPU支持的数据类型普遍为Int8和Int16（而且MAC并行操作能力似乎也不大一样）。瓴盛JA310的NPU除了Int8和Int16外，似乎还支持FP16——看起来在影像处理能力上有更高的追求。
海思的NPU应该是现在为数不多为FP16提供支持的AI专核。高通的AI引擎，在DSP层面也并未对FP16数据类型提供支持，FP16运算靠的是GPU；三星与Arm的NPU亦如是。不过成飞也提到了这颗SoC在AI算力上，通过NPU+CPU+GPU协同的方式进行——Arm NN框架就支持这种能力（虽然Arm NN其实也支持第三方NPU IP），这里的FP16也可能是GPU提供的能力。瓴盛在资料中并未给出JA310的GPU规格。
另外，对高层神经网络框架，如TensorFlow、ONNX、Caffe2等提供支持也算是当代AI开发环境的必然了。只不过这颗NPU的效率、功耗各方面数据均未知。其中的"系统/算法OTA升级"也算是当代具备弱编程特性的"通用型"AI处理器普遍具备的能力。
值得一提的是，成飞有特别提到CPU部分的四核Cortex-A55的ML能力有"6倍"提升，对比对象是Cortex-A53 。A55有开始引入新的NEON指令，用于机器学习，这应该是其作为CPU部分的ML能力提升所在。
VPU即视频编解码单元部分，着重于4K编解码、"高品质低延时" 。成飞给出了JA310的4K HEVC（即H.265）编码质量，与其他友商产品在不同码率下的PSNR（峰值信噪比）比较（HM16测试模型）。成飞表示，其中橙色那条是"完美曲线"，"310在测试过程中，取得了最接近完美曲线的效果。"
以上这些都是JA310在AI视觉计算方面的努力，包括所谓的"专业安防级别ISP"、"高品质低延时VPU"、支持机器学习指令的四核CPU，以及专用NPU单元。从较少的参数信息来看，这应该是AIoT领域在图形处理能力上比较出色的一款SoC 。
有关三星的11nm工艺事实上，除性能之外，这样一颗AIoT芯片的功耗和效率也非常重要，不过瓴盛并未给出功耗方面的具体数据；只是在提芯片制造工艺时，略提了一嘴11nm相比28nm，功耗下降了70% 。这里的11nm也就是三星的11LPP工艺。而JLQ JA310与三星的渊源也不只是芯片制造这么简单。
瓴盛科技CEO肖小毛在接受采访时说："可能很多朋友关心我们为什么选择三星。我们做第一个产品是证明团队的能力，其次是为第二个产品打下基础。因为我们一些IP主要是在三星，内部供应商已经将其调到最优......工艺和IP捆绑很紧，当IP与工艺调整到最优时，强行切换（为台积电）的成本会比较大。"