一般来说,物联网物联传输处理过程,首先要进行数据接收,也就是将采集的数据进行汇总,再进行数据传输,到中央处理系统(通常指服务器),再通过数据存储、分析、加工,再将需要的结果,通过应用程序反向设备发送相关操作指令。
一、批处理
批处理的方法就是隔一段时间就分批次的处理一次积攒的数据。一般情况下先把数据存入数据库里,隔一段时间就从数据库里获取,执行处理。这种方式适用于不需要紧急处理的工作环境,比如气象温度、湿度、风向数据,冰箱及空调等相关数据,城市监控等数据。批处理需要在规定的时间内处理规定范围的数据,因此数据量越多,执行处理数据的服务器就要求性能越好。
随着物联网设备的逐渐增多,人们需要处理的数据量也越来越大,人们处理这些庞大的设备量得到的图像、声音及各种传感器获得的数据,进行存取、分析、处理并得到所需数据,就是大数据的应用了。一般大数据都需要用到分布式数据处理方式及数据库。分布式数据处理平台主要有:、apache spark、redis数据库、mongodb数据库、elasticsearch数据库等。
二、流处理
流处理的方式,是不保存所有数据,只搜集需要而且有用的数据,其它数据都会直接被丢弃。比如我只想做一个温度预警的消防装置,虽然温度传感器在实时监测温度数据,但是只要没有超过我的预设值,数据都是直接丢弃不用的。只有超过预设值(比如我可以设置3个数值),才会向数据库存储,并且通过服务器进行分析,然后做出相应的反应。比如是有消防警示,或者启动灭火设备等。
批处理是把数据攒起来,一段时间一次性处理的方法。而流处理,是不保存数据,按照数据流的顺序依次进行处理。就是没用的丢弃,没用的继续丢弃,有用的直接存储。
想实时对数据做出反应的时候,流处理就是一个很有效的处理方法。可以减少数据的存储和提升效率。