华为机器视觉峰会纪要2022-08-09

背景：2022年5月 华为成立机器视觉产业军团摘要：
1）机器视觉，也即用机器代替人眼，进行各类监测、识别等工作。由此来看，机器人所用视觉感知模块，或者说机器人视觉，应该是机器视觉的其中一种应 用，并且它在机器视觉“感知”的基础上还做出延申，也即指导汽车或机器人根据信息执行行动。而华为的机器视觉产品集中于安防产品，以各种摄像头为主。2）整场讲座中的重点，一是向我们介绍了华为新产品（五款摄像头）的应用场景、性能，可以发现：①各项产品的应用场景很明确；②各项产品力图解决市场痛点，且性能相较友商均有大幅提升；二是华为表达了“以开放对抗封闭”的强烈意愿，呼吁各个公司尤其是机器视觉算法公司与之合作，加入其生态，而相应地华为也打造了有利于其他公司融入生态的架构，记录在段爱国的演讲中【架 构】一节中。
相关公司：
① 高空抛物算法：英特灵达（pre-A）、博思廷（未上市）、小视科技（未上市）、天感智能（未上市）、北博智能（未上市）、明华云（未上市）
② 智慧停车算法：云游四海（未上市）、金铱星（未上市）一、 洪方明演讲：机器视觉概览及军团成立带来的变化
几大趋势（2、3、4、5、节较抽象）：
D 数字化使应用场景更加广泛：从监控、安防到普遍应用的大时代，感知管理会变得更为高效（从安防，到生产与生活的各方面）
D 从物理世界到数字世界（感知）还有极大提升空间，且未来感知范围会变得会更广，不只是可见光，比如雷达就可以感知到非可见光
D 新技术的到来，使感知数据会变得更为精准。（人工智能赋能）
机器视觉不是一个简单的终端，而是一个解决方案，涉及多个方面。
:军团到底能带来什么变化？
匹配产业发展结构，缩短技术发明与客户之间的距离，有利于各自建立各自的生态伙伴。技术开发与市场间短链条的运作。
军团带来的四大“升级”：
更好地响应市场需求、对产品能力精益求精、统一高效的服务政策、开放共享的生态体系。
从简单买卖走向多重合作，打造开放共生、智慧共赢的生态体系。
军团将打造与伙伴共赢的渠道政策（不只是卖给伙伴后做甩手掌柜，而可以尽量帮助伙伴完成任务，如经销、技术支持与验证等
其他
未来三年培养一批上亿合作伙伴
华为机器视觉伙伴运营中心正式启动
二、 段爱国：有何新产品、新战略
华为机器视觉发展历程：
18年发布新理念“软件定义”，19年开启“全息感知”新品牌，20年“普惠
AI”商业分销新赛道、21年“端云协同”新方向
现已取得的成果：打造了开放共生、智能共赢的平台
a) 算力：1 GOPS（英特尔）、4TOPS(智能摄像机)、10TOPS（智能手机）
b) 数据：44ZB 2020，190ZB（2025预测）
c) 算法：2021发布的盘古大模型 2000亿参数，更加准确，且不断迭代
坚持普惠AI,核心一是AI（我们做的真是AI），第二是普惠，更便宜
保持开放共生，如端边云全开放、智能视觉产业联盟等
坚持极致创新，用好大笔的基础研究经费，推出一系列品牌
过去三年，华为做对了哪些事情？
人工智能行业：正当其时——算力、数据、算法都得到大幅发展
技术成熟不等于规模商用，AI落地仍存难点 D 算法固化迭代难：场景千差万别，市场上可用的算法少，且算法加载后难以迭代。算法精度提升需要现场调优和持续迭代。而以华为高空抛物算法为例， 6个月，迭代了10余次，而这需要架构支持不断迭代，架构不支持则会导致算法固化。这影响到公司、客户能不能享受到算法迭代带来的成果。
D 场景多样选品少：行业内许多公司并未坚决地进行AI投资，宣称在做AI，其实仍然在做传统的视频监控。高质量AI产品、普惠AI产品尤其不丰富 D 工程复杂成本高：AI传感和原本的传统模块不太一样，对图像要求更高，像素大小/角度/图像全天候质量大。要想突破，必须下定决心、工匠精神去打磨
D 技术跨越组合难。AI落地是一个复杂系统性工程，端边云网的界限需要被打通，感知、联结、计算、存储、云等多方面技术需要联动，需要合作
构建类似安卓的开放系统以架构（端云AI协同）
产品——打造更多被需要的产品（普惠AI）生态（智能共赢）来突破AI落地鸿沟
架构：
2020年推出自研昇思AI框架。AI框架是AI根技术，一个AI算法要在社会上跑起来，它要适应应用场景、AI框架、神经网络框架等，上承应用下接算力（各种硬件——AI的算法开发非常复杂，不同硬件往往需要匹配不同的算法。故全球有能力的AI公司开始推出框架——相当于人工智能操作系统，应该是类似于一个标准化的协议）。现在已有100多万下载量，推出300多个模型、服务类5000多家企业，是中国AI框架的主力代表。
好望AI架构：把昇思框架内置进去，机器视觉端边云 标准开放协同全场景AI架构。它分为四个模块：
模型转换工具：对于使用其他模型的公司，这一工具可以兼容主流算法，快速转换，并提供轻量化工具，用其适配华为的产品。实现一次开发，可以适配全产品全场景，这样开发者可以方便地拥抱华为好望生态。
AI开发框架：我们已经积累了许多标准化的原子能力，类似于先提供给公司算法 80%的模板，剩下20%公司再去调优。可以把原子能力（如做车牌识别中，所需原子能力可以分为检测模型、跟踪模型、分割模型、识别模型）打包给大家，同时提供编排框架，公司需要的就是拖拽顺序，然后载入数据进行训练即可。这样能使中国更多企业有能力开发算法。
问题：这会不会使大家的同质化提高？如何脱颖而出？有类似企业/模式吗？
AI部署框架：帮助大家依次开发端边云算法，以及算法包的按需部署。
AI推理框架：推理才能更好地服务于场景。兼容不同芯片差异化的算法，同时把我们的芯片算子等硬件集成起来，让大家的算法可以跑在华为的硬件上，性能更加高效。训练时，可能只在一种硬件上进行训练，而推理时则会用在不同的硬件上，而这一推理框架已经把所有硬件型号集成进去了，只要大家把算法部署在端边云上，就可以一键部署至硬件上，不用再担心硬件的型号配置。
总结：算法开发者、算法使用者需要更好地结合在一起，而现状是前者在寻找场景，后者在寻找合适的算法。我们要做的，就是搭建一个桥梁，联结起来。
产品进化1：分为三大部分
物理光学（把已有的华为终端产业链、华为汽车产业链的优势加持到物理光学部分，用最好的镜头、最好的传感器）
计算成像（算力换图像，用AI提升图像质量与精准度）软件架构
产品进化2：五大系列产品
此图为现有产品，橙色框出的为新产品
ELIV轻智能系列：为商业分销市场推出的重要产品
周界在商业分销各种场景的基础，而现状是AI周界检测依然存在大量漏检、误检情况，且只能识别行为，难以区别不同物种属性（如人进去和小动物进去都会报警）。我们想做的是：检测极准、抗干扰极强。
要做的第一步就是算法升级。性能成果：①深度学习+背景建模 24*24检测像素，30m检测距离；②过滤更精准（树叶、光影、小动物）；③区分（人、机动车、非机动车），综合检出率（大于等于98%），综合误检率（小于等于
2%）。注意：这是AI周界算法进步后的性能，所有产品均具有这个性能
应用场景：危险区域/消防区域警戒、园区视频周界等多种应用场景
强调：把华为很强的音频能力也纳入进来，拾音距离5m，传音15m；30m白光补光，50m红外补光；全语音对讲，内置25跳语音文件，支持6条自定义。产品价格相较现有AI产品有大幅降低
客户需求佐证：通过交流，发现运营商认为AI周界是他们最需要的产品
微光全彩系列：真正实现环保的全彩
背景：安防行业，摄像头的图像在不断迭代：黑白-星光-白光全彩（用了一个很强的白光补光灯）-微光全彩（真正在降低环境刺激时提升图像质量——免去了上一代打白光光带来的光污染，而这离不开光圈，光圈越大，进光量越大，当然成本也就越高。我们认为F0.9使下一代大光圈）
基础：华为墨子2号镜头：全球首款F0.9超大光圈镜头摄像头，当前是400万像素，具备未来向2000万像素演进的能力。具备瞬息聚焦技术，也即变焦过程中仍然很清晰。
为何F0.9厉害？为何华为能做到？这款镜头做出来很难，要做这个镜片，有许多的镜片叠加；镜片需要百纳米级面型精度，且需要非常精准的胶水技术等等。之所以能做到，是因为我们把华为的终端产业链、车产业链给集成过来了。我们的清晰度比当前业界水平可至少提高20%，且不开补光灯时，相较业界上一代白光全彩有显著提升。并且这个镜头不贵，好用不贵
对应高空抛物，M2141、M2150等三款
改善生活的刚需、需要华为与伙伴的联创来支持落地
华为做一个事，非简单复制，而一定是解决现有痛点，带来增量
当前痛点：夜间检测有遗漏、易受外界干扰（天气、落叶，误报多）、高楼层难以覆盖。
而我们要做的，是和高空抛物最优秀的算法伙伴合作，我们负责提供硬件，共同搭建成了华为解决方案。例如，M系列长短焦结合，16-50层均可以覆盖。
合作后的性能成果：最小检测像素4*4，5楼瓶盖、10楼烟头，30楼矿泉水瓶均能检测到。此外，还可以抛投轨迹绘制、精准定位源头、有效过滤各种干扰。目前这一算法已经在好望商城上实现了规模销售
推荐公司：英特灵达、博思廷、小视科技、天感智能、北博智能、明华云
对应智慧停车
改善生活的刚需、需要华为与伙伴的联创来支持落地
停车收费经过三个时代：人工收费（2016以前）、地磁等设备收费（2016-
2019前，准确度不高）、智能化算法（2019，摄像机，无感收费）
现有痛点：①单摄像机覆盖车位少，3-4个，则导致成本高——能覆盖更多车位吗；②复杂场景识别困难，比如夜间，以及有些司机停车技术差，识别不准确；
③存在不停的违停类型，也为识别带来困难。
我们认为停车有4类场景，华为已经推出一些路内停车的摄像机产品，第四款为新款
新产品特点：高像素、高算力，一个视频桩可以覆盖6个车位，则检测距离提升
50%，单车位建设成本降低15%以上。我们提供了极强的硬件与算力，没有这么多数据，需要和顶尖算法公司合作。合作的成果是，识别成功率大于99%，且我们能支持80°大倾角的检测（业界只能60°），以及多类型的违停检测。推荐公司：云游四海、金铱星两家公司
为何智慧停车需要这么高的准确率？案例：XX市30万个停车订单，当前设备识别率仅仅66%，还需要500+人力复核流失的订单。客户的要求是，车牌识别率
95%以上，成单率90%以上，如此才可以把人力抛开，真正完全依靠AI。而当前我们与伙伴合作，我们提供技术平台，搭载伙伴的高性能算法，在长沙一小区运营，识别率99%，成单率96.7%。这就是AI落地的难度，也证明我们需要让最专业的人干专业的事
球机 新推出4款好望球机，现在全场景补齐
当前痛点：①球机难以传动，或在传动过程中坏了，转不动；②部署成本高，维护难度大，刮风下雨风沙都需要维护；③不具备AI功能，只能给人看；
目标与成果：①球机转起来。传动系统升级，耐磨性能提升3倍，可以极限转动
500万次，意即如果30秒转一次，可以连续转5年；业界100-300万次 ②易于安装运维：减重设计，平均减重20%；防抖设计，降低80%场景抖动——6轴陀螺仪+AI视频防抖；免维设计防水+加热
第一款：9寸隐形激光球（500m激光补光）
应用场景：为铁路周界（这个话题现在受到关注）、输油管线等需要长距离监控的战略基础设施打造。隐形激光球与毫米波雷达结合，10倍于业界当前水平的低误报。定位准确率很高，500m的范围内，定位误差在50cm。和华为光纤振动、光纤传感进行结合，打造光声一体的周界。光纤一震动就会有感知，若有动物、有泥石流等，光纤会报警，驱动摄像头转过来，再进行精准定位。
第二款：6寸全结构化球，却能带来8寸球的体验（减重、减体积）
双光补光（远距离红外线补光，近距离白光补光）、多种算法满足多种场景需求，为城市中不同场景共建共享所准备
第三款：5寸双光语音球
在球机上传音（30m）、拾音（15m）的距离都做到了业界极致，特别适合喊话场景，如智慧园区、商业市场、社区等。150m的红外，30m的白光。摄像头上具有帽檐，可以防雨雪风沙。可以加载好望商城上300多种算法！（其他终端应该也能加载）
第四款：7寸超微光全彩双目球（夜晚无补光）—华为近三年机器视觉的集大成者
当前存在三个痛点：存在无光场景，如南水北调、长江黄河等非城市领域，如何不依赖补光提高图像质量呢？传统ISP调优存在瓶颈——算力来提升。此外，上站维护（如镜头被雨雪风沙遮挡住）较困难
新产品构造：
D 双目：长焦兼顾细节（40倍长焦），广角纵览全景
D 双镀膜设计，抗紫外线（anti-fingerprint）+双层增透膜（anti-
reflection），延长镜头寿命，提升透光率
D 超景深光圈，40倍T端进光量达到F3.8，提升46%（友商F4.8，数据越小光圈越大）
D 烛龙系列RGBW超感光传感器（过去40年，在安防行业使用RGGB；做手机时，使用RGBW发现效果更好，W是白色），这款在手机上搭载的芯片如今也用在了摄像头上，助于更高程度的彩色还原
D 主控芯片：第一，AI ISP算力换图象，超感光降噪算法模型。加入了海量的低噪图片数据，把感光模型训练到了极优，深度降噪能力比当前业界最佳还要提升4倍。第二，AI ISP多重曝光，多帧AI融合，极致宽动态，让动态范围达到
120db。暗处不过曝，亮处有细节。
D 六轴陀螺仪+AI视频流双重防抖
D 易维护：借鉴汽车大灯清洁技术，业界首创无感雨刷，雨刷和镜头无接 触，通过吹气的方式来清洁（接触多了要么雨刷坏，要么玻璃坏），寿命大于5年。
总结：AI要落地，场景一定要与产品结合起来。架构是基础，产品是尖刀，生态是保障
2.8 生态：
2.8.1 发展历程：
1.0 以华为为中心（计划经济）
2.0 伙伴与伙伴进行联结（市场经济）
3.0 识别核心场景、核心伙伴，更紧密地为伙伴赋能（有宏观调控的特色市场经济）
2.8.2 四个变化：
新的品牌：好望智选。
理念：品牌共生，能力共享，体验一致。对于所有好望智选的产品，华为深度参与餐品定义、质量管控、体验设计、集成验证等多环节，目前已经推出7大类好望智选产品，包括摄像机、管理平台、门禁、车匝、拼接屏、解码器等等。今年
4月份已走向市场。伙伴说：这个品牌帮助伙伴们吸引客户，开拓市场新模式：好望商城严选。
好望商城现在有300多个算法与应用，在线交易量以320%的速度在逐年提升，目前商城上有80多家AI算法公司和伙伴有自己的产品或商店。但我们也听到声音称商城上产品有些质量不够令人满意，故推出商城严选。
商城严选选择最好的伙伴合作，加强把关、测试，以高质量、易交付为原则，华为亲自参与产品的评估与测试，并与自身生态中的终端结合，相当于为伙伴的品质背书。除了验证技术，我们也会为伙伴推荐销售，帮助他们走向市场。由此，我们会收取一点服务费，以实现商业互惠
新运营：区域能力运营中心。
运营中心不只是运营项目，还会承载着华为机器视觉、合作伙伴的运营。
具体而言，军团运营中心（顶层）：和优选伙伴构建机械解决方案、进行深度赋能和联创、全球的营销上市、全球的项目合作，这里提供给核心的场景、核心的伙伴。省级运营中心（次级）：本地的方案构建、本地的生态对接、本地的营销活动、本地的项目合作。市级：圈子活动、关键项目合作。区县级：联合拓展、联合项目交付等。业界伙伴和我们合作，可以拥抱华为的整个资源
新赋能：以好望AI架构能力底座和专家团队，助力AI伙伴商业落地。我们需要各方面顶尖的伙伴一起来做事，需要整个业界的能力都提升，而如果伙伴需要赋 能，我们会非常坚决地去帮忙
华为和其他公司落地AI到底有何不同？
我们是真正想做AI，而且我们真的坚持开放，这才能将AI进行到底。