探讨基于物联网的大数据量实时信息交换对策

探讨基于物联网的大数据量实时信息交换对策
\7Ka|;]LX TF0张 锐,王自力中国论文网*k6K+Q"\9E8^0`(~
（驻马店职业技术学院, 河南驻马店,463000）中国论文网.]rs%p5g,_+L)wB'iX
摘要：随着信息技术的发展，在继计算机和互联网之后，整个世界的信息平台上出现了第三次巨大的变革和发展，而这次变革
E5U"S$P,[.n O*f0的主角就是物联网，它是一种实现物品与互联网之间相互连接的平台，通过红外感应、卫星定位等先进的信息传感设备，按照中国论文网,c7p2J Hpp H*U"G
一定的运作程序和规则，将现实中的物品与互联网相互连接起来，并对整个流程实施智能性的跟踪、识别、定位和管理，以实现中国论文网Gp%Lu*[
全方位的信息沟通和交换。本文将从物联网大数据实时信息交换中存在的一些问题出发，深入探讨大数据量实时信息的交换中国论文网0i6j1H)_Q
方法，并提出了一些提升物联网大数据量实时信息交换有效性的对策。中国论文网p j0U,`
Z*W;X G5hH
关键词：物联网；大数据量；实时信息交换；信息沟通
3E er7ZM6t1w0Explore large amounts of data based on real-time information
W4Y"d\c-H,L%k'wZ%a0exchange countermeasures of things中国论文网b:diuB(qu7p
PX1U
Zhang Rui,Wang Zili中国论文网7k/|~JoS"I'oD
(Zhumadian Zhumadian Vocational and Technical College，463000)中国论文网2EJ.X.q9rAQ/K8_IF
Abstract ：With the development of information technology,after following the computer and the Internet,the中国论文网s3u*vR d!~
information appears on the world platform of the third great change and development,and is the protagonist
t|9ob5t.hBD;s0of this change things,it is a realization of goods mutual connection between the Internet platform,through
\&^uo!H,E4T/V`g0infrared sensors,satellite positioning and other advanced information sensing device,according to certain中国论文网*g]m&qxdM
operational procedures and rules,the items will be reality and the Internet to connect with each other,and中国论文网nhQ!s-i2Oo|%a
the entire process of implementing intelligent track,identify,locate,and manage to achieve a full range of中国论文网hCe0P*pk"P!Ba
communication and information exchange.This article from large data networking problems that exist in the
u]4NwS;b_0real-time information exchange starting depth exchange process large amounts of data in real time information中国论文网7T%u&PoeBbS'U]`
and made some things to improve information exchange large amounts of data in real time the effectiveness
9d9s$h_N$B0of countermeasures.
Au%v2G)t6X#H*U0Keywords ：things;large amounts of data;real-time information exchange;Information Communication
]"{ot.Jr#\h4h9{00 引言中国论文网S:i.lS,H
目前，北京市已经建立了一个物联网信息交换平台，该平台中国论文网da?.E8^xpWJ
对北京市物联网应用的安全运行和应急管理起到了非常重大的
)w,S-hQ w0作用，解决了信息传输过程中存在的传输安全问题、信息交换问中国论文网2qS| Jp#w#ho
题以及传输中断和故障问题。从整个物联网的应用和发展前景上中国论文网7qW;Z1FtR2Q'a
来看，实现物理信息之间的相互交换与共享，使部门之间信息互
U3QUK(k![z%o`0通互享，是其最核心的要求和最终要实现的目标。在从理论上看，
.W C ]e,z0物联信息包括三个方面的内容，分别是物联实时信息、物联管理
0{.F&nz(Z#TOT:u0对象信息以及物联感知设备信息。后面两种信息是常用的基本信
,w~#p4g4c+E(w@'e0息，在实践中使用普通的共享方式就能实现，但是物联实施信息

G/N ekcbR0不仅具有实施性高、数据量大的特点，还具有数据增长速度快、共中国论文网.eDJ.g2s;Uh+c
享频率和交换、查询频率快等特点，因此，在对其进行交换和共享中国论文网$qb:|6a/z3Y'UMM
时，技术上要求更高。为了实现物联网的大数量实时信息交换与
0YI&M(`L.TZ$ax}B0共享，本文将对其信息交换策略做详细的分析，以期对物联网平中国论文网|.\ eK:{xz
台的进一步发展有所帮助。
+m3\r7varX01 物联信息交换实现方式及需要解决的问题
'?I*A
p#C A.b4G$eQ01.1 物联信息交换的重要功能需求
gnfxL7~TRy0要进行物联信息的交换，必须要满足其四大功能需求，分别中国论文网AG4R%],Y2] ~1\m(J#J1O
是数据的处理功能需求、安全传输功能需求、转换集成功能需求
7uO F%B!VA'i0以及交换管理功能需求，下面将对这四个需求分别进行阐述。中国论文网[Kb@5b-Oc
1.1.1 数据处理功能需求
vz]4^&g'b0物联信息交换要实现物品与互联网的连接，首先要对物品信中国论文网1by+UYM
息进行处理，因此，在交换信息时，该平台需要提供能够对数据进中国论文网Cj9T4P+r-~X&Q"Rl
行压缩、加密及签名的功能，同时还要提供数据填充设备、数据格
/x:f#}}9O?0式转换等功能，只有这样才能实现数据的统一性、完整性和及时中国论文网vMZ/C4O0v'@
性。
*hi6e%tt A01.1.2 安全传输功能需求
b5I:f6HC x0要保障信息的传输过程的安全可靠性，必须保证实时数据中国论文网i._O7m5a~J
能够及时得到传输，而对于非实时数据能够同时成批的进行数据
u.ftd$P0交换，大文件得到及时处理和传输。此外，由于数据传输的格式种
Y MI!OT0类很多，包括文件格式、Web 格式等等，所以，还应该提供能够支中国论文网Ph4cTr+f3C9N
持多种数据格式传输的渠道以及多种交换方法。对于一些动态数中国论文网-L4N,r0x.O,[b1rx
据，还应该提供动态消息机制，方便消息的确认和消息的选择性
[v+pk?2M|1|#v0重发，避免在数据出错的情况下错误信息得不到及时纠正。中国论文网\4X NW A^ S
1.1.3 转换集成功能需求中国论文网;y0Yf9H%c]7w+M
为实现不同服务集成方式的整合和互换，使得各个平台的信
'E6F^$f'o9L0息在各部分得到充分的共享和转换，应该提供标准的转换集成组中国论文网#P#i&CO&f
件，且这些组件应当是系统性特别强的组件，譬如数据库系统、消
c`C0t)e2g&g!W0息通信系统等等。中国论文网(hM"_#\IYJ,}/[-x
1.1.4 交换管理功能需求中国论文网Fg\cQf
交换管理功能能够实现信息流通的规范化和制度化，能够将
3jKD*t![6{(G0数据交流的过程进行合理的规制以实现可视化配置管理。对整个中国论文网4Nxa,EdG
交流平台进行全面的控制、纠错、故障维护等。中国论文网`} }R:w(u2D
1.2 物联信息交换的实现方式中国论文网JB8a B+t'K%r|/L
在物联网运作过程中，对各部门的信息进行上传和接受的常
eQ0QRO-sXd8j,{,J0用转换集成方式是前置机集成法，该系统的能够为物联信息的共中国论文网@TR1`+t:d]R)Y7d(dV
享提供支撑，并且不与其他部门应用系统相联系，抗干扰性强；
fM6YkG'C7^0在接入前置机后，平台能够实现与共享数据库接口和其他接口之中国论文网X8Cib'Q$D
间数据的共享。这种运作模式可以很好的解决系统运转的压力以
(Cs3Jro0及生产数据库的压力。此外，该系统在设计中选用了ESB 中间产
)WQ DTb+{%_TS$^;k0品，该产品可以支持多种会话模式，包括消息和事件的单个会话、
1V%p@2i7X\L`0一对多对话、组对组对话，具有定时、实时等多种会话交流方式和
H!Zc/F9Cx#L4^V0策略，能够与许多数据接口进行连接，具有很好的兼容性；由于中国论文网ks%ea-V9^y {rI5]2c
该系统具有数据交换路由解析的功能，因此可以实现数据的优化中国论文网1] Ag Ez?7egC}
集成，从而达到动态负载均衡的效果。物联信息交换的具体方式
\RwPrnKQ0如图一所示。
2k'W%fdP l02 物联实时信息交换的改进措施
9H&B-Y7\q"K0对于物联信息交换应用支撑平台使用过程中出现的问题，我
z;o.u3O!n9l.k8p0们一般可以采用两种方式解决问题，分别是：采用先进的技术和中国论文网`2H8Dqeh,{w0} s-G
完善的策略对平台进行改进；直接更换处理效率、存储容量和运
KM#S,{s3q'O8ZP0转速度更快的服务器。更换服务器成本较高，因此，本文将采用第
|]"ICHA,^ or0二种方式解决问题，分别从数据库实时处理性能、日志管理以及
u Y$JPc*Ao'C0大数据文件的读取和分析性能三个方面提出三个对应的措施。中国论文网|InA2?~
2.1 临时表技术
JR w~oU!_0传统的数据连接运算方式是将表与表直接连接的运算方式，中国论文网&Q"F~)eQP
然后再从所有运算结果中选出符合要求的那些结论。本文所说的
L.nG-?1@Y;n2by~Q0临时表，是利用临时表这种中介来减少运算量的技术。在对数据
mDi5G\3f9@4{0进行连接运算时，先对大数据表进行查询，找出符合要求的数据，中国论文网l6N,yI7eq9HqY1_7v
并将数据存在临时表中，这种存储并不是长期的，只是临时的存
B9J)SW M3^wp#t)|0储，数据会在不断运作中被新数据取代，存储时间可能是10 分
4pjV:@PvT t0钟，也可能是几天。系统的访问路径会从源数据的访问改为对临中国论文网zO.Ch R
时表的访问，从而避免对一些不必要的数据进行复杂运算。中国论文网~(U+O0R6x*u9_
在运用该技术之前，先要将操作中需要使用的数据导入临中国论文网m&L2CPi*Y F:C
时表中，从而方便系统的运行。在正常情况下，临时表中的数据不
${b(sOdY|dD H/[9U0会出现高于源数据表中数据的情况，因而在进行数据连接和计算
Jc
FJo%Zyu0时，系统的性能会变高，速度更快。我们知道，物联实时信息的交中国论文网qS4]8seng|
换具有数据量大且运转速度快、操作和访问频繁的特点，访问的中国论文网ysq;W4\w*H+_0g.k
位置也比较固定和集中；且数据的交流属于持续操作的状态，每
+d3aEiAQ(E|2|0一个操作又会形成一个新的数据集。在这种高运转性、高频率性
pq;I4oB0操作中，采用临时表技术无疑是最佳选择。
l4?+N6S:~],}Y02.2 文件缓冲技术中国论文网hW;wS.F-L
vU
在实践中常用的数据库日志处理方法有两种，分别是一次性
W'DL!rJ6jVDt[._0处理法和计时处理法。这两种方法有其存在的必然性，但是其弊中国论文网Jt8_ZE bs5u
端也是不可忽视的，特别是在数据库日志量很大的情况下，如果
&P1J}5s? n R9G0采用一次性处理法对数据进行缓冲的话需要耗费计算机大量的中国论文网P'@\!v$h;e ?{ABk
内存，是费时费力的方式，不能很好的满足数据处理的空间和时中国论文网*Y%qCU%HS uD*T0_
间要求。而采用即时处理方法更加耗费时间，特别是在数据库的
Q(_)R[xp0读取和网络传输上，往往需要花费很多时间。为了解决这些问题，中国论文网U\jRkI
本文提出使用文件缓冲技术进行日志的处理。其具体操作分为中国论文网@+gB S{4}C[M
两步，首先是将服务端的数据库日志转到本地客户端的临时文件中国论文网6j[%|2U$RKk\8GPQ
中，系统不再对服务端的数据库日志进行处理，转而对临时文件中国论文网$?%m {/A+e&\2_9`
中的日志进行处理，这样可以减轻服务端的运转压力，增强日志中国论文网5P s?\rvTE
处理速度。这种策略对于复杂的数据操作并没有多大作用，毕竟
#s R-sk5OUL#U8q0本地文件中的内容是相对固定的，不利于及时变换内容。但该技
w/Wh-@7}Qf lC0术对于多次重复性读取的操作意义重大。中国论文网#nt(lU4Yx:V:JA3~]
2.3 内存映射文件技术
NKmx%i#yUn)O h-B0当平台使用Win32 API 函数的方式对文件进行处理时，需中国论文网$U%a
r3`$X
要将内存和硬盘进行频繁的数据交换，这种处理方式对于小型的中国论文网Y!IE(n8Bi a
文件处理来说，不会有太大影响，但是在处理大型文件时，就会出
.KGEx ^6f2f0现数据处理效率低的现象。因此，笔者提出使用内存映射文件技中国论文网_?}A]4S^2\|
术来解决这一问题，该技术主要是通过内存指针来对硬盘上的文中国论文网Dx8frJ*X'n
件进行访问，就像对加载了的文件的内存进行访问一样。在文件
0m!b&q3K1p YB0映射下，进程虚拟地址空间的某些区域会与硬盘文件内的全部或中国论文网z6cvb%L,_P$WJ
者部分内容取得关联，从而实现被映射文件的直接访问，不必执
#K#][z(H7sG0行内存与硬盘的文件I/O 操作，且无需对文件进行缓冲处理，节
!?dW8FmB
YOX0省的缓冲时数据的运算时间。这就预示着我们在对文件进行处理
2es/AYtC0时，不在需要考虑文件的缓存问题，文件缓存的所有内容和操作中国论文网~(]8W yv.{^ {\
都会由该系统直接处理。中国论文网{6k6q4h@XFJ
3 结语
[
\}1g)E:`7Dz0综合全文分析可知，物联网大数据量实时信息交换的实现，
z@_s C,G Q8U0可以运用许多先进适用的技术和方法实现，本文提出了物联网实
F J&`0IY
syNc0时信息交换中存在的一些问题，并对出现的问题提出了相应的解中国论文网7R4}!o1a
PHG
决措施，希望能为物联网实时信息交换提供一些技术上的支持。中国论文网5X@0D(~u\
参考文献中国论文网(\Ba1c&`0? KL4VD
[1] 唐俊伟, 薛贺. 基于XML 和 Web Services 的数据交换平中国论文网C.iTHN U
台的研究与设计[J]. 微电子学与计算机,2006,23(1):142-中国论文网f$}@gC/a J
146.中国论文网.e8l _VM.]H{q.u[W
[2] 于慧彬, 齐鹏, 梁捷, 等. 内存映射文件在大数据量海洋调中国论文网zn-i6xC
查数据处理中的应用[J]. 海洋技术,2010(6):82-89.中国论文网)IKA4]vV3I5_
[3] 潘虎林. 基于续传数据的动态网络交换模型[J]. 电脑知识中国论文网7Yj"Y
y~7x V^Ho
与技术,2009(5):42-44.

 中国论文网_B H%c_d