探讨基于物联网的大数据量实时信息交换对策

2Ibi&R0z0探讨基于物联网的大数据量实时信息交换对策
|*\"~
A/FD0张 锐,王自力
z7O+N3}[0（驻马店职业技术学院, 河南驻马店,463000）中国论文网(kG(msK;d_#_
摘要：随着信息技术的发展，在继计算机和互联网之后，整个世界的信息平台上出现了第三次巨大的变革和发展，而这次变革
S{h.rt.s:j1F+GP0的主角就是物联网，它是一种实现物品与互联网之间相互连接的平台，通过红外感应、卫星定位等先进的信息传感设备，按照中国论文网 x3C#d,s A y
一定的运作程序和规则，将现实中的物品与互联网相互连接起来，并对整个流程实施智能性的跟踪、识别、定位和管理，以实现
wwL&yJw#_ KM_0全方位的信息沟通和交换。本文将从物联网大数据实时信息交换中存在的一些问题出发，深入探讨大数据量实时信息的交换
i0kr&K%Zr
B)Edw0方法，并提出了一些提升物联网大数据量实时信息交换有效性的对策。中国论文网TNLm-kVm
关键词：物联网；大数据量；实时信息交换；信息沟通
WP2F:p2} g7m4D_;c0Explore large amounts of data based on real-time information中国论文网yo`%R@*C'ib
WW;v3E:J
exchange countermeasures of things中国论文网2b/Xq/g`-j3k
Zhang Rui,Wang Zili中国论文网c#m0^o.Y)D g
(Zhumadian Zhumadian Vocational and Technical College，463000)中国论文网i"\'^d z4l_+r
Abstract ：With the development of information technology,after following the computer and the Internet,the
:ixO,dx)n:{}0information appears on the world platform of the third great change and development,and is the protagonist中国论文网h3g%xZ8v"y
of this change things,it is a realization of goods mutual connection between the Internet platform,through
&D^a]fB0infrared sensors,satellite positioning and other advanced information sensing device,according to certain中国论文网t"T!e*I z6v9]}9q
l
operational procedures and rules,the items will be reality and the Internet to connect with each other,and
3K!g2?O%QI)y0the entire process of implementing intelligent track,identify,locate,and manage to achieve a full range of中国论文网X;c
| P@8[_
communication and information exchange.This article from large data networking problems that exist in the中国论文网3i;l
`C(j%iJ2[Re
real-time information exchange starting depth exchange process large amounts of data in real time information
}:z+|(jbrjH^G0and made some things to improve information exchange large amounts of data in real time the effectiveness中国论文网4PDw} q"PAiuH
of countermeasures.
1\&sS
J+} F0Keywords ：things;large amounts of data;real-time information exchange;Information Communication
;W]gz8ZhKXfaW00 引言
"d&Gsn"lz
X^0目前，北京市已经建立了一个物联网信息交换平台，该平台
(a V/[c7Gb%`Z0对北京市物联网应用的安全运行和应急管理起到了非常重大的
BI[g0];gN{E"W0作用，解决了信息传输过程中存在的传输安全问题、信息交换问
vW$o@:R0题以及传输中断和故障问题。从整个物联网的应用和发展前景上
&Ytp+do}N]$d@0来看，实现物理信息之间的相互交换与共享，使部门之间信息互中国论文网H,U)US&Jz k)E^ Z:j
通互享，是其最核心的要求和最终要实现的目标。在从理论上看，
x1FBr2Q;f0物联信息包括三个方面的内容，分别是物联实时信息、物联管理中国论文网U [4O*T8q[
对象信息以及物联感知设备信息。后面两种信息是常用的基本信中国论文网h/UhOj:yl]P
息，在实践中使用普通的共享方式就能实现，但是物联实施信息中国论文网g{k_ e2~:{9Q[4d
r
不仅具有实施性高、数据量大的特点，还具有数据增长速度快、共
"R9Vf~GCX'r*X|l0享频率和交换、查询频率快等特点，因此，在对其进行交换和共享
!Vl@4z1C,G q4Lh%?0时，技术上要求更高。为了实现物联网的大数量实时信息交换与中国论文网#KZ,Z{s5nc
共享，本文将对其信息交换策略做详细的分析，以期对物联网平
0QF1C^'AM+[$[5bEH0台的进一步发展有所帮助。中国论文网k KO ej%I
1 物联信息交换实现方式及需要解决的问题
!t
lT0n C F01.1 物联信息交换的重要功能需求
(rb aB-[$OL+_0要进行物联信息的交换，必须要满足其四大功能需求，分别
K(Sr!WN.nD6M0是数据的处理功能需求、安全传输功能需求、转换集成功能需求
4g.Z0x \GwV0以及交换管理功能需求，下面将对这四个需求分别进行阐述。中国论文网6m1zF{r TNAn9d
1.1.1 数据处理功能需求
JM8nz$U,s4D.r-D$OQ0物联信息交换要实现物品与互联网的连接，首先要对物品信中国论文网9G6S`mK9[3oll af
息进行处理，因此，在交换信息时，该平台需要提供能够对数据进中国论文网,l%nM:~a'fqW
行压缩、加密及签名的功能，同时还要提供数据填充设备、数据格
J"s bY(g7vG/o6D0式转换等功能，只有这样才能实现数据的统一性、完整性和及时
J4ue#Oo`pT0性。中国论文网"t @&wA#u`5sc[w
1.1.2 安全传输功能需求
Rq.H4N(\s0要保障信息的传输过程的安全可靠性，必须保证实时数据中国论文网|7n.wZ0@PQ#f a M
能够及时得到传输，而对于非实时数据能够同时成批的进行数据
-t
q}nu\m0交换，大文件得到及时处理和传输。此外，由于数据传输的格式种中国论文网 }.X(M9mt;A)C
类很多，包括文件格式、Web 格式等等，所以，还应该提供能够支中国论文网2i3@k
| @)_"V$F
持多种数据格式传输的渠道以及多种交换方法。对于一些动态数
D*ZG*F dd0据，还应该提供动态消息机制，方便消息的确认和消息的选择性中国论文网 [5f"mb$G_
重发，避免在数据出错的情况下错误信息得不到及时纠正。
J boZhv5p.wuK01.1.3 转换集成功能需求

q/c"lgP E ?0为实现不同服务集成方式的整合和互换，使得各个平台的信中国论文网ugz(__?.uV
息在各部分得到充分的共享和转换，应该提供标准的转换集成组
9p5t }:E]:J1pu(s0件，且这些组件应当是系统性特别强的组件，譬如数据库系统、消中国论文网{.D\8S0oR%x_
息通信系统等等。中国论文网 ThrjM
1.1.4 交换管理功能需求
KH4RR9P0交换管理功能能够实现信息流通的规范化和制度化，能够将中国论文网&j"U(Kk+H*b8l
数据交流的过程进行合理的规制以实现可视化配置管理。对整个

]@;[UZ p:o(U0交流平台进行全面的控制、纠错、故障维护等。
*YaB g1x01.2 物联信息交换的实现方式中国论文网Xt+L)L,_C
在物联网运作过程中，对各部门的信息进行上传和接受的常
$?9r@6@7N0用转换集成方式是前置机集成法，该系统的能够为物联信息的共中国论文网{ mqcS
享提供支撑，并且不与其他部门应用系统相联系，抗干扰性强；中国论文网 |0@!U|'Ox
在接入前置机后，平台能够实现与共享数据库接口和其他接口之
Si+|3xyTeH0间数据的共享。这种运作模式可以很好的解决系统运转的压力以
'Y{ cjew^0及生产数据库的压力。此外，该系统在设计中选用了ESB 中间产
cf4p,@ S0品，该产品可以支持多种会话模式，包括消息和事件的单个会话、
o3P7K;pC[rD3T0一对多对话、组对组对话，具有定时、实时等多种会话交流方式和中国论文网N_#Cg:ynJS5c
策略，能够与许多数据接口进行连接，具有很好的兼容性；由于中国论文网,|8Z^#vU
w+n
该系统具有数据交换路由解析的功能，因此可以实现数据的优化中国论文网-O4ygXI/G tPc'h
集成，从而达到动态负载均衡的效果。物联信息交换的具体方式
9n'Box kZ0如图一所示。中国论文网 K+QIj5i
2 物联实时信息交换的改进措施中国论文网 ^4VTw I;c~$dq
G&W
对于物联信息交换应用支撑平台使用过程中出现的问题，我中国论文网5k0R0fb9Jr
们一般可以采用两种方式解决问题，分别是：采用先进的技术和中国论文网.f ~P+~-d
完善的策略对平台进行改进；直接更换处理效率、存储容量和运
"?V7e.X"jJ?0转速度更快的服务器。更换服务器成本较高，因此，本文将采用第中国论文网1U$\n].qIKN
二种方式解决问题，分别从数据库实时处理性能、日志管理以及中国论文网.| mc3C6~9C5Y$B)t
大数据文件的读取和分析性能三个方面提出三个对应的措施。中国论文网
^2k;yV_a3f#~
2.1 临时表技术
]Rv3^6V1I0传统的数据连接运算方式是将表与表直接连接的运算方式，中国论文网us&I)[1@t_)T
然后再从所有运算结果中选出符合要求的那些结论。本文所说的中国论文网-ig9g"Dt$PK
临时表，是利用临时表这种中介来减少运算量的技术。在对数据
0Z6n RFQns6_0进行连接运算时，先对大数据表进行查询，找出符合要求的数据，
XOq f6q q `"[
{!u:\0并将数据存在临时表中，这种存储并不是长期的，只是临时的存中国论文网 ye1d?#~K
储，数据会在不断运作中被新数据取代，存储时间可能是10 分
*nFE!M&SgGv1g0钟，也可能是几天。系统的访问路径会从源数据的访问改为对临中国论文网%R]7\-W`_
时表的访问，从而避免对一些不必要的数据进行复杂运算。中国论文网`KU#Y5?F"t
在运用该技术之前，先要将操作中需要使用的数据导入临中国论文网 dp:zb,v
时表中，从而方便系统的运行。在正常情况下，临时表中的数据不中国论文网 o$CQ4Y Q7]^|f1G
会出现高于源数据表中数据的情况，因而在进行数据连接和计算
7r&L%kdWj%Lz0时，系统的性能会变高，速度更快。我们知道，物联实时信息的交中国论文网nZ5\"P"o@,O3g ?4mbG
换具有数据量大且运转速度快、操作和访问频繁的特点，访问的
:g({Xc&va| f/G,`y0XU0位置也比较固定和集中；且数据的交流属于持续操作的状态，每中国论文网,hIVOV)]!AwG vSQ
一个操作又会形成一个新的数据集。在这种高运转性、高频率性中国论文网w+KnX8]%wwn+~c
操作中，采用临时表技术无疑是最佳选择。
{:i[/rd]1Q02.2 文件缓冲技术

q.qs8R4]0在实践中常用的数据库日志处理方法有两种，分别是一次性中国论文网q-k(HF2p
处理法和计时处理法。这两种方法有其存在的必然性，但是其弊中国论文网ldlq'T hWC
端也是不可忽视的，特别是在数据库日志量很大的情况下，如果中国论文网#R3V~1z"yC}
采用一次性处理法对数据进行缓冲的话需要耗费计算机大量的
PHNG`;y4G0内存，是费时费力的方式，不能很好的满足数据处理的空间和时中国论文网l {G-o0@V\m
间要求。而采用即时处理方法更加耗费时间，特别是在数据库的中国论文网_&l,iC,R)C7_'h F
读取和网络传输上，往往需要花费很多时间。为了解决这些问题，
2zR6Y/VR6[2mk)O{0本文提出使用文件缓冲技术进行日志的处理。其具体操作分为中国论文网@g'I"NBl2G2?4af
两步，首先是将服务端的数据库日志转到本地客户端的临时文件中国论文网-D `*R&K|l#M9EQ*j
中，系统不再对服务端的数据库日志进行处理，转而对临时文件
3o9V+BRv%ri
jii0中的日志进行处理，这样可以减轻服务端的运转压力，增强日志中国论文网af zSsy_p9{
处理速度。这种策略对于复杂的数据操作并没有多大作用，毕竟

Jx8?4AmhF0本地文件中的内容是相对固定的，不利于及时变换内容。但该技
sk-ZRI-G~/u0术对于多次重复性读取的操作意义重大。中国论文网v e$f\tT'}[r
2.3 内存映射文件技术
K7\P | l&R0当平台使用Win32 API 函数的方式对文件进行处理时，需
1h8? lHK3K8`e
P2U$d0要将内存和硬盘进行频繁的数据交换，这种处理方式对于小型的中国论文网0^~D/Jm$L
文件处理来说，不会有太大影响，但是在处理大型文件时，就会出中国论文网5B5Xal6a3I)a/n_)p6n+Y
现数据处理效率低的现象。因此，笔者提出使用内存映射文件技中国论文网A:P_S FZ1A;z+{
术来解决这一问题，该技术主要是通过内存指针来对硬盘上的文
&G:B,R m}%^0件进行访问，就像对加载了的文件的内存进行访问一样。在文件
Uj8],Z)H^0映射下，进程虚拟地址空间的某些区域会与硬盘文件内的全部或
_
x_2T+q/}-vb0者部分内容取得关联，从而实现被映射文件的直接访问，不必执中国论文网%?-k
o\F
行内存与硬盘的文件I/O 操作，且无需对文件进行缓冲处理，节中国论文网N$n3nfr3Eb#C~8s
省的缓冲时数据的运算时间。这就预示着我们在对文件进行处理
LSzsE+CVw_0时，不在需要考虑文件的缓存问题，文件缓存的所有内容和操作
@1B"b9l9d1X L)rgz0^|C0都会由该系统直接处理。
J*sRPo0qP03 结语中国论文网Wl,g3l#_Pw
综合全文分析可知，物联网大数据量实时信息交换的实现，
/Zf HGA [:A0可以运用许多先进适用的技术和方法实现，本文提出了物联网实
&\*\;t&hN/_g?z0时信息交换中存在的一些问题，并对出现的问题提出了相应的解中国论文网1i!xY\l@c_
决措施，希望能为物联网实时信息交换提供一些技术上的支持。
.]:F)aG}N;j0参考文献中国论文网`4`!\3Xi;tG7Z&H
[1] 唐俊伟, 薛贺. 基于XML 和 Web Services 的数据交换平
,\^Ed D?o%oL0台的研究与设计[J]. 微电子学与计算机,2006,23(1):142-
-F|f2}Z|B x,~x0146.
*p%pOV3p9v'euUz0[2] 于慧彬, 齐鹏, 梁捷, 等. 内存映射文件在大数据量海洋调中国论文网pa!U3zc
查数据处理中的应用[J]. 海洋技术,2010(6):82-89.中国论文网OKgA'P;}
[3] 潘虎林. 基于续传数据的动态网络交换模型[J]. 电脑知识中国论文网j
\o EW(g,W
与技术,2009(5):42-44.中国论文网-M }$w&Jo I3}1I