传感器融合在物联网中的作用：机器监测-环境感测-人感知交互

传感器融合在物联网中的作用：机器监测-环境感测-人感知交互

作者:飞思卡尔半导体微控制器全球战略和业务发展执行总监Kaivan Karimi
3xmaker合越智能 翻译编辑整理

传感器技术的时代已经过去。如今，体验不使用传感器为用户创造新体验的电子消费产品已变得异常。随着微机电系统（MEMS）技术变得越来越便宜和进一步小型化，传感器正经历着各种复兴，从而推动了传感器向新应用的渗透，并为传感器市场创造了新的潜力。

介绍

如今，传感器被广泛应用于各种应用中，例如智能移动设备，汽车系统，工业控制，医疗保健，石油勘探和气候监测。传感器几乎无处不在，现在传感器技术已开始紧密模仿最终的传感机器……人类。允许这种情况发生的技术是传感器融合，该技术利用微控制器（“大脑”）融合从多个传感器收集的单个数据，从而获得比使用来自传感器的数据更准确，更可靠的数据视图。每个独立的传感器。传感器融合会导致整体大于其各个部分之和的情况。

传感器融合可实现上下文感知，这对于物联网（IoT）具有巨大的潜力。用于远程情绪计算（情感感应和处理）的传感器融合技术的进步也可能导致未来激动人心的新应用程序，包括智能医疗保健。但是，这些功能引发了IoT治理需要解决的重大隐私问题。随着传感器融合和REC技术的使用增加，海量的上下文感知数据将变得可用。这些数据，以及物联网对“空中全球神经网络”的访问和基于云的处理资源，将导致针对任何给定情况定制的上下文感知服务的交付产生巨大的扩展。服务可以基于单个用户正在做什么，机器正在做什么。

人类：终极感官范例

为了了解传感器融合的工作原理，让我们看一下传感器在人体中的工作方式。人类通过多种方式体验外部环境。视觉，听觉，化学感觉（嗅觉和味觉）和表面感觉（触觉）都提供有关周围环境的感觉信息，这些信息通过周围的神经系统（PNS）到达大脑。然后，大脑决定如何对给定的条件或经历做出反应。

PNS不会对其传输的信息做出复杂的决定；这些决定是由大脑做出的。响应于感觉输入，大脑发出运动信息，即人类对输入的响应。例如，一个行人看到一辆汽车朝他行驶，他的大脑告诉他的肌肉更快地走到马路的另一侧，以免发生事故。人类还会从内部器官接收信息，其中一些信息很明显，例如胃痛。人们还不知道其他种类的内部信息，例如血压，这些信息可用于调节人体的内部环境。

大脑是最终的决策者。但是，如果周围神经系统无法提供感觉信息并发出运动信息，则人们将无法走路，说话或完成我们通常认为理所当然的许多其他功能。大脑通常使用多种感觉输入源来验证事件并补偿缺乏“完整”信息的风险以做出决定。例如，一个人可能看不到汽车引擎盖下的火焰，但是燃烧的橡胶和来自仪表板的热量散发出的气味会告诉大脑是时候离开汽车了，因为发动机着火了。在这种情况下，导致大脑做出反应的信息大于不同感觉输入的总和。

图1：从周围环境收集感官信息（视觉，听觉，嗅觉，味觉和触觉），并通过周围神经系统到达大脑以进行处理和响应。

在技术世界中，传感器融合扮演着相似的角色。通过集成来自多个传感器的输入以实现更准确和可靠的感测，传感器融合可以产生更高水平的识别并提供新的响应。各个传感器具有固有的局限性并且可能会出错，可以通过互补的传感节点进行纠正或补偿。例如，陀螺仪会随着时间的流逝而产生偏移漂移，可以使用配套的加速度计对其进行补偿。结论是，融合的传感器信息（来自多个传感器）比单个传感器数据更准确，更可靠。

不断发展的传感器技术可改善日常生活

让我们看一个计步器的简单示例。传统的计步器使用摆锤，并且必须以垂直角度戴在臀部上，以免出现错误的读数。当用户走路时，计步器通过跟踪摆随着髋部运动来回摆动并每次击中计数器而对每一步进行计数。但是，由于步幅，爬升/行走角度或用户驾驶汽车或进行其他动作时错误地计算步数，错误的读数很常见。

基于MEMS的惯性传感器带来了巨大的进步。基于MEMS的第一代计步器使用了加速度计，可以对人的加速度进行1轴，2轴或3轴（3D）检测，从而更精确地测量步数。而且，与老式的机械计步器仅记录每个挥杆动作的步数不同，加速度计每秒可多次测量人的运动。

但是，如果您不仅要计算步数，还要准确计算上下楼梯或爬山时消耗的卡路里，该怎么办？下一代计步器增加了高度计，以测量和解释人在行走时物体在固定参考点（海拔）以上的高度变化。高度计技术可感测高度计或气压计（BAP）应用中的绝对气压。准确的压力读数也需要温度测量，因此通常会添加某种温度补偿电路以提高准确性。

图2：计步器示例

继早期的悬挂在慢跑者手臂上的便携式音乐播放器取得成功之后，如今，有许多独立的计步器和带有计步器功能的手机被设计为可佩戴在手臂上（而不是挂在臀部的皮带上）。在此用例中，手臂运动会引起寄生运动。陀螺仪可以测量手臂的旋转运动并对其进行补偿。

三种类型的传感器（加速度计，高度计和陀螺仪）与用于测量和处理读数的MCU结合使用，可形成高度精确的计步器。

传感器融合如何工作

最基本的传感器融合示例是电子罗盘，其中3D磁力计和3D加速度计的组合提供了罗盘功能。更复杂的传感器融合技术可利用和组合3D加速度计，3D陀螺仪和3D磁力计（可测量特定方向上相对于给定设备的空间方向的磁场分量），从而为用户带来增强的体验。这些传感器类型均提供独特的功能，但也有局限性：

加速度计：x，y和z轴线性运动感应，但对振动敏感

陀螺仪：俯仰，滚动和偏航旋转感应，但零偏漂移

磁力计：x轴，y轴和z轴磁场感应，但对电磁干扰敏感。

当结合所有这些技术时，传感器融合会从多个传感器获取同步输入，处理输入并创建大于其各个部分之和的输出（即，通过使用特殊算法和过滤技术，传感器融合消除了缺陷） （类似于上述人体功能）。

传感器融合提供了许多功能，这些功能可以使我们的生活更轻松，并启用可以利用这些功能的各种服务。

当今传感器行业面临的问题之一是各种操作系统（OS）之间缺乏标准化。如今，大多数操作系统驱动程序都要求提供最基本的传感器数据，这限制了传感器全部功能的使用。

传感器融合是Microsoft®战略的一部分，因此Windows®8 OS使用基于与Microsoft生态系统合作伙伴合作开发的行业标准的传感器类驱动程序（人类接口设备规范2011），以内聚方式支持传感器。Windows运行时编程模块允许进行轻量级执行程序调用，从而可以在硬件级别进行传感器处理。

传感器融合通常是指3D加速度计，3D陀螺仪和3D磁力计的组合。这种配置称为九轴系统，为用户提供了九个自由度（9-DoF）。2012年，飞思卡尔为Windows 8引入了12轴Xtrinsic传感器平台，该平台提供了12自由度传感器融合解决方案。这可以通过包括气压计传感器，温度计传感器和环境光感应功能来实现。

适用于Windows 8 OS的飞思卡尔12轴Xtrinsic传感器平台

这种全面的硬件和软件解决方案使用飞思卡尔32位MCU（操作的“大脑”）融合了加速度计，磁力计和陀螺仪数据，并为简化的开发提供了易于集成的功能。微软的Windows 8操作系统专门用于平板电脑，平板电脑，笔记本电脑和其他移动设备，其具有个人计算机计算能力的功能扩展了运行智能手机和平板电脑应用程序的功能。飞思卡尔是首批通过其传感器融合平台获得Microsoft Windows 8认证的公司之一。

基本的传感器融合处理需要10-12 MIPS。对于9自由度传感器融合，要求可以轻松达到18-20 MIPS的处理周期。有多种方法可以满足这些处理需求（每种都有优点和缺点），包括添加用于传感器处理的专用协处理器，或者使用具有足够性能余量的健壮MCU，以便随着时间的推移添加新功能。如果已经需要MCU来执行IoT应用程序的嵌入式处理，则MCU选项将是有利的，因为它将“用一块石头杀死两只鸟”。

图3：Windows 8的12轴Xtrinsic传感器数据流

传感器融合的其他示例

飞思卡尔正在进行有关在医疗电子产品中使用传感器以及在非医疗应用中使用多传感器处理的研究。乔斯·费尔南德斯·维拉塞（JoséFernÃndezVillaseñor）博士是一名医学博士和电气工程师，结合了他作为飞思卡尔医疗产品销售商和医院医生的工作，致力于使用传感器（大型的REC技术）进行情绪分析领域的研究。 。研究表明，与体育活动引起的肾上腺素增加相比，体育锻炼引起的心率增加具有不同的模式和斜率。因此，人们可以使用算法并分析传感器数据，以电子方式检测人所显示的情绪类型。

这是一个游戏平台的示例，可以通过监视和获取来自生理变量和状态的数据来以电子方式检测情绪，例如：

肌肉松弛（MR）-通过压力传感器

心率变异性（HRV）-通过芯片上的两电极ECG

汗液（S）-通过电容式传感器

姿态（A）-通过加速度计监视人的放松状态（剧烈运动与稳定手部运动）

肌肉收缩（MC）-通过压力传感器

使用收集到的传感器数据，游戏平台中的MCU可以例如检测情绪并在游戏情况下向游戏者提供反馈，以使游戏更加精彩。如何在驾驶游戏中使转弯更快，更难操纵，直到玩家显示出更放松的状态（来自加速度计的不那么紧张的读数）？因此，对自己的情绪有更好控制的冷静驾驶员会获得更好的分数（类似于现实生活）。如果本地控制台的MCU提供了处理功能，则将其视为本地情感计算；如果基于云的系统提供了处理功能，则将其视为远程情感计算。在基于云的系统中，可以利用复杂的“大数据”算法为游戏场景提供更精细的响应。

图4：使用情感感知的上下文感知

在另一个示例中，传感器可以用于通过测量用户握住手机键入或拨打电话的方式来检测情绪。此外，软件算法可用于通过分析人发短信的方式，电话移动的抖动程度或键入时出现的许多错误（使用退格键）来提供有关个人心理状态的其他上下文。

利用传感器融合实现物联网

如白皮书“物联网要成为现实需要什么”所述，物联网包含许多用例-从互联的家庭和城市到互联的汽车和道路，再到跟踪个人行为并将所收集的数据用于“推”服务。IoT是一种通用的“空中全球神经网络”，它将触及我们生活的方方面面。从技术角度来看，IoT被定义为与其他机器，对象，环境和基础架构进行交互和通信的智能机器，从而导致生成大量数据并将该数据处理为可以“命令和控制”事物并做出有用的动作对人类而言，生活要容易得多。

图5：物联网

所有物联网用例的共同要求包括：

感应和数据收集功能（感应节点）

本地嵌入式处理能力的层（本地嵌入式处理节点）

有线和/或无线通信功能（连接节点）

该软件可自动执行任务并启用新的服务类别

基于远程网络/云的嵌入式处理能力（远程嵌入式处理节点）

信号路径上的全面安全性。

物联网所需的传感节点的类型差异很大，具体取决于所涉及的应用程序。传感节点可以包括用于图像监控的摄像头系统，用于智能能源的水或燃气流量计，需要主动安全时的雷达视觉，RFID读取器可感测物体或人的存在，带有开/关电路的门和锁，用于指示物体或物体。建筑物侵入物或简单的温度计来测量温度。谁能忘记电影《少数派报告》中追踪建筑物人口的寻味机械漏洞？这些机械错误代表了未来的潜在传感节点。（我认为它们将用于打击犯罪。）

这些节点都将带有唯一的ID，并且可以通过远程命令和控制拓扑分别进行控制。当今存在用例，其中具有RFID和/或近场通信（NFC）和GPS功能的智能手机可以接近建筑物中启用了RFID / NFC的各个“事物”，与它们进行通信并在网络上注册其物理位置。因此，RFID和NFC将在远程注册以及最终对物联网的命令和控制中占有一席之地。

传感器融合平台和远程情感计算的添加极大地提高了物联网中传感节点的能力。

图6：物联网技术的功能视图

物联网构建基元的“盒级”视图

如果将IoT的构造块从简单节点转换为盒式/产品级视图，我们最终将获得使用PAN / BAN / LAN类型的通信拓扑的感知/边缘节点，并连接到具有不同层次结构的网关。

图7：物联网构建模块的``盒级''视图

这些网关又通过WAN通信技术与云进行通信。通过访问网络连接到云后，数据将通过服务器进行路由，以进行应用/操作以及大数据分析。

上下文意识

传感器融合以及嵌入式处理和连接功能可以实现上下文感知，而上下文感知则可以开创服务的新天地。

什么是“上下文”？

上下文定义为形成事件，陈述，情况或想法的环境或事实。在软件编程中，开发上下文感知应用程序的想法已经存在了一段时间。具有上下文意识的应用程序检查谁，何时何地，何时何地，然后软件设计人员使用此上下文信息来确定为什么会发生某种情况，然后对应用程序中的某些操作进行编码。

根据此定义，用于制定上下文感知操作的四个最重要的信息类别是：

身份

地点

时间

活动

在使用上下文信息来制定确定性动作时，上下文接口首先出现在人类内部（之间），然后是环境，最后是机器和基础结构元素。画布，油漆管和画笔的集合以相同的方式允许艺术家创作杰作，情境感知，而这些界面是启用各种服务的工具，这些服务原本就没有意义。在这里，技术的不断改进可以使整体大于其各个部分的总和。没有什么能像传感器那样检测并提供人类情感的读数。传感器提供了对人类思维方式的访问，使体验更加“个人化”。

图8：传感器融合可实现上下文感知

人，自然与环境以及机器/基础设施之间的交互（和界面）为确定上下文感知提供了有价值的数据点，包括：

人类

动作，姿势和步幅

对刺激的反应

在特定条件下的情绪

在任何给定时间的生物识别

周围环境

地点

高度

温度

湿度

光

声音

闻

人员正在使用的基础设施/机器

弹道

影响

速度

回馈

振动和回转

与结构完整性相关的更改

图9：传输的上下文数据进行处理

在物联网中，传感节点收集输入后，嵌入式处理节点将处理上下文感知的数据，并提供反馈以立即采取行动，或将其传递给基于云/网络的处理。在后一种情况下，需要各种连接机制才能将数据获取到核心网络。例如，在这种情况下，蜂窝电话或连接的平板电脑成为连接到广域网（WAN）的“网关”。

传感器融合/上下文感知和远程情感计算相关服务

想象一下使用传感器融合平台的情况，它利用本地嵌入式处理以及基于云的软件技术（例如Internet搜索和在线广告中使用的模式识别和机器学习）来远程监视各种情况并完全提供新的服务类别-所有这些操作都是由基于云的命令和控制中心自动完成的，无需任何人工干预。这些服务的多样性仅受其想象力的限制，方案可能包括：

水果和蔬菜纸箱上的传感器可以跟踪乘车的位置，温度，振动和晃动，并嗅探产品，并在变质之前发出警告。然后，基于云的指挥和控制中心可以自动与运输卡车或火车进行通信，以重新安排运输路线并保存食物。想象一下，这样做的经济效益更大。

通过提供购物者的健康历史记录，提供指导，优惠券，增强现实地图和交易推荐，免费音乐会，电影和其他娱乐，社交网络以及就餐场所，从而帮助购物中心的人们获得更好的购物体验。

我最近在当地的一家儿童医院呆了几天，不禁想知道如何改进该系统。

传感器融合平台可用于减少医院护士检查患者生命体征的次数，从而降低医疗成本。还可以使用它来远程监视患者并在需要时建议或提供预防性护理，从而完全避免去医院看病？

想象一下，将各种传感器融合平台和RFID读卡器结合在病房洗手池后面，以监视医生和护士的动作，并在他们触摸患者之前和之后忘记洗手时提醒他们（这是医院获得性感染的最大原因之一） 。

REC示例：可以每天24小时跟踪一个人的生命体征，情绪和动作。然后，可以使用该数据来提醒个人对自己的饮食，驾驶等保持更高的警惕，以帮助预防健康问题和/或事故。如果该人严重醉酒，则该人的电话可以拨打预定的紧急联系人，并提供该人的位置以发送帮助。想象有多少青少年父母会注册这项服务！

遇到结构问题的桥梁由于环境条件而无法继续行驶，会自动向基于云的命令和控制中心发出警报，而该中心又会向所有汽车（不仅是驾驶员）发出警告，通知该桥梁停留离开并走替代路线。

酒后驾驶的车辆会警告警察和附近的车辆，以帮助避免发生事故。

还有许多其他类型的服务，它们利用传感器融合来提供上下文感知的服务。

在大多数情况下，不需要在设备级别上进行重大技术突破即可实现上述任何一种情况，并且已经非常关注使用“大数据”处理，分析工具和机制来生成这些情况。服务类型。仅需进行渐进式改进，即可将技术和玩家生态系统融合在一起，设定游戏规则，并从小的孤岛云过渡到“空中的全球神经网络”。

图10：通过传感器融合感知的上下文信息帮助大数据环境的真实高效

传感器收集的信息可用于有益和简化人们生活的服务，也可用于数据挖掘和其他引发安全和隐私问题的用例，因此，将成为物联网的两难境地。借助传感器融合和REC技术，甚至可以添加更多功能。就像不久前发生互联网现象并像野火一样扑灭一样，物联网将在不到十年的时间内触及我们生活的方方面面，而传感器融合技术则是这一现象的前排座位。你准备好了吗？

行业用途与应用

传感器用于众多行业和领域的无数应用中。由于传感器无处不在，因此可以肯定的是，传感器融合的应用领域同样广泛。Emergen Research的一份报告预测，到2027年，全球传感器融合市场将达到167.2亿美元。以下是受益于传感器融合的行业列表：

·         汽车行业

·         气候监测

·         电脑软件

·         消费类电子产品

·         医疗保健

·         智能家居

·         工业控制

·         物联网

·         制造业

·         军工

·         石油勘探

基于柔性传感器、智能标签RFID及定位技术等的传感器融合在物联网、医疗物联网、可穿戴健康、机器人与智能制造、结构健康监测等领域的应用解决方案@南京合越智能，www.3xmaker.com