梦幻联动！索尼和微软将共同发起联合创新实验室 _ 游民星空 GamerSky.com

今天，索尼中国官方微博宣布：索尼和微软共同发起联合创新实验室，支持合作伙伴和客户利用索尼黑科技智能视觉传感器 IMX500和微软 Azure AI，进行解决方案的开发、原型设计和测试。

官方原文：

​​索尼半导体解决方案公司（下称“索尼”）推出的智能视觉传感器是世界首个具有 AI 处理功能的图像传感器。智能视觉传感器在传感器自身进行高速 AI 处理（边缘 AI 处理），仅输出元数据（语义信息），有望拓展正广泛应用于零售或工业等环境中智能摄像头的使用场景。此外，索尼于 2020 年 5 月开始与微软合作，创建使用AI赋能的智能摄像头的解决方案。这些智能摄像头搭载智能视觉传感器并具有视频分析功能。双方合作的一项内容是联合创新实验室（Co-Innovation Labs），由索尼和微软联合发起，旨在支持合作伙伴和客户进行解决方案的开发、原型设计和测试。今天我们将以采访的形式介绍Nomad Go这一案例。Nomad Go这家位于华盛顿州柯克兰的公司创造了计算机视觉技术，以帮助物理空间（建筑）减少碳足迹、变得更健康节能。该公司在索尼和微软的支持下，基于联合创新实验室高效地开发了自己的解决方案。

大家不妨想象一下：早上 7 点起床，日程安排显示当天中午只有一个约会。于是你立即来到车前，启动引擎，让车发动起来直至出发。几个小时后，你出门赴约并返回家。现在到了下午1点，但是你还想让车子在天黑之前继续保持发动状态。毕竟，你很可能还需要再次外出。这一系列行为是不是和城镇里各个办公楼、购物中心和公寓大楼的碳排放行为一致呢？

Nomad Go 首席执行官兼联合创始人 David Greschler

David Greschler：“当今各个商业建筑就是这样运转的，这令人震惊而且极其浪费！实际上温室气体排放的第一大排放源并不是工业，也不是交通运输业，而是建筑物” 。

基于联合国环境规划署的数据，商业建筑占地球二氧化碳 (CO2) 排放量的 39%。科学家说，这种在大气中存在了数百年的固热气体，正在加剧气候变化并引发极端天气。

为什么商业建筑会出现这样的问题？ 他们的供暖、通风和空调（或简称“HVAC”）系统通常由预设计时器控制，每天运行12小时（或更长时间），无论是否有人在场。这些建筑常常消耗能量，以使空的房间、大堂和公共空间变得舒适，只为满足那些可能存在的使用者。

Nomad Go 创造了一种产品，可以遏制这种浪费：计算机视觉可以检测商业空间中是否有人，以及如果有人，那么有多少人、停留多长时间。来自该解决方案的数据可以根据是否有使用者而非设定的时间计划，精确地为房间加热、冷却和通风，从而显著减少能源使用和相应的温室气体排放。

该解决方案使用计算机视觉和人工智能 (AI)，可以快速了解每个房间的细微差别并做出反应，例如房间一般每天接收多少阳光或清洁人员在夜间到达的频率等。这些调整可进一步优化房间内的能源消耗情况。

日前索尼和微软创建了四个联合创新实验室，作为 2020 年合作伙伴关系的一部分。Nomad Go 的工程师受邀使用其中一个实验室，利用索尼推出的智能视觉传感器 IMX500和微软 Azure AI，创建一个解决方案。

这些实验室为客户提供工具、专业知识和其他资源，用以开发智能摄像头技术。随着创新解决方案陆续在实验室中诞生，索尼和微软会帮助他们的合作伙伴和客户去验证解决方案、缩短上市时间并帮助克服技术方面的挑战。

David Greschler：“与微软和索尼合作的兴奋之处在于，能将我们的技术规模化并降低进入市场的壁垒，对我们来说，可以省去很多麻烦。此外，今年夏天伴随着无尽的热浪和严重的干旱，似乎我们已经到了气候变化的一个临界点，这款产品的推出已迫在眉睫” 。

随着一些学术研究人员在相对较新的人工智能领域进行探索，计算机视觉于20世纪60年代出现，设想通过赋能计算机，从数字图像和视频中收集资讯来构建模拟人类视觉的技术。

近年来这项技术不断完善，用户开始将他们的照片和视频数据上传到云端进行AI分析。

但是这种设置有一个问题：传统意义上，它需要将大量数据发送到云端，这可能会花费大量资金并造成网络拥堵。

Nomad Go 选择了一条不同的路径：边缘计算是由设备本身完成的，距离数据源只有几英尺远。在这一情况下，这些设备是智能传感器。

在联合创新实验室，Nomad Go的工程师使用首款具备AI 处理功能的图像传感器、索尼智能视觉传感器 IMX500 构建了他们的解决方案。

索尼半导体解决方案（美国）公司 技术和业务创新副总裁Mark Hanson

Mark Hanson：“实际我们的解决方案成本更低、占用空间少、不引人注目且功耗更低。它不会持续将视频流发送到云端进行分析，在芯片上完成了很多此类工作，而且因为不发送图像流，所以它不需要大量网络基础设施或带宽来传递结果。更重要的是，搭载我们芯片的摄像头解决了隐私问题，因为它们输出的是元数据，即用于描述所有收集到的数据信息的基本数据，例如人数，而不是他们的身份” 。

IMX500 可以不从传感器本身发送图像或视频。这不但对一些生产设施非常有效，也适用于零售等其他应用场景。

Nomad Go 工程师在实验室为他们的产品配置 Azure 自定义视觉服务（Azure Custom Vision），这是一种帮助客户应用计算机视觉的AI 服务和端到端平台。自定义视觉与索尼的工具链相结合，具有从培训数据集到实际设备部署完整的集成化工作流程，可令边缘计算赋能的 AI 模型的开发过程更高效。

微软人工智能和物联网实验室项目全球负责人Jun Yamasaki

Jun Yamasaki：“我们成功帮助 Nomad Go 团队完成培训、包装和将自定义视觉模型部署到设备的初始阶段，并指导该团队进行关键架构决策，确保他们解决方案的稳定性和准确性能够扩展到生产中” 。

Nomad Go 现已将解决方案部署在一些公司的建筑大楼内，包括高层住宅的公共区域、办公大楼的会议室和一些公司总部等。

实施这些措施后，企业报告其能源成本有所降低、温室气体排放减少、空气质量得已改善以及HVAC设备的磨损和维护减少。

美国建筑和能源服务公司McKinstry 是其中一家公司。该公司表示，它在西雅图总部（包括其主会议室）的能源使用量和二氧化碳排放量都减少了38% 以上。此前，会议室依赖于每个工作日早上 6 点自动打开并在下午 5 点自动关闭的 HVAC 系统。

仅在一栋 12 层高、460,000 平方英尺的建筑部署Nomad Go系统，对环境会有多少帮助？据Nomad Go 的数学计算（基于美国环境保护署提供的碳足迹计算器），这每年至少能减少1000 吨二氧化碳排放，相当于超230 辆乘用车一年的排放量。

仅在美国，就有近 800 万座建筑物，其中包括 560 万座商业建筑和 170 万座公寓大楼。

David Greschler：“我们改变了思考建筑的范式，已经从以建筑为中心转变为以人为中心。”

Nomad Go 受邀参加联合创新实验室的一部分原因是，它的技术对地球友好，而索尼和微软都致力于为可持续社会的发展做出贡献。

目前有四个联合创新实验室。一个位于日本东京，在索尼的办公大楼内。另外两个实验室分别位于华盛顿雷德蒙德和德国慕尼黑，都在微软园区内。第四个位于上海张江人工智能岛。Nomad Go 使用了雷德蒙德实验室，由于疫情原因，采用远程形式。

各个实验室都配备了微软的技术工程师。 索尼为参与实验室活动提供技术资源。

Jun Yamasaki：“目前联合创新实验室已服务了四个合作伙伴。还有一些客户准备参加。有兴趣的公司可以在线申请，参与者可以更快地进行构建、以更低的成本开发、在更短时间上市，在这些方面获益。我们相信将这些工具与合作伙伴所带来的（资源）相结合，有望塑造边缘微型人工智能应用场景的未来，我们已迫不及待想要了解未来我们的实验室合作伙伴还会带来哪些项目”。

只有全球建设预测准确的情况下，对 Nomad Go 解决方案的需求才会加速。

微软联合创始人比尔·盖茨在他最近出版的《如何避免气候灾难（How to Avoid a Climate Disaster）》一书中写道，到 2060 年，地球上不断增长的人口将导致世界范围内的建筑存量翻一番，相当于“在四十年里每月建造一座纽约市”。

David Greschler：“在那种情况出现的很久之前，也许最快在今年秋天，数百万员工（疫情后）最终将回归到一种混合式的工作空间中，这将为现有的HVAC系统制造一个亟待解决的难题。混合式工作空间的出现令对空间使用率的关注度提升，我们不知道谁会在房间里，房间里是否有人。这样的空间非常适合使用Nomad Go。而我们的团队已得出一些可以产生显著效果的发现。”