;
关注华体会HTH官方网站掌握最新行业动态与资讯
当前位置: 首页 > 华体会HTH新闻

hth网页版在线登录1. 实现高性能删除重复数据的省内存技术

发布日期:2024-04-02 访问量: 来源:华体会HTH官方网站

本技术介绍参考了以下链接


1. 实现高性能删除重复数据的省内存技术

English

株式会社富士通研究所(注1)(以下简称,富士通研究所)开发了以下技术。

近几年,由于云服务和移动终端的普及,在各种通信环境的网络里,应用程序被广泛使用。在公司和数据中心节点间,诸如文件传送,文件共享,备份,从移动终端向云端发送接收数据等的应用逐渐日常化。

数据发送与接收的传输量日渐增大,对于无需改善线路或导入专用硬件便可实现数据传输高速化,避免线路成本增加的需求日趋旺盛。

为实现数据的高速传输,富士通研究所进行了高速通信协议的研发。虽然该技术对于带宽相对无限的情况下,应对网络延迟或者数据丢包率大等效果明显,但是在线路带宽窄,带宽全部被使用的情况下,则需要提高线路带宽。

要在不改善线路的情况下实现高速数据传输,有效的方法是削减传输数据大小。主要有两种方法:1)重复数据删除,即第一次发送的数据由发送方和接收方同时保存,第二次开始则不发送相同数据;2)数据压缩技术,即使用文件压缩等(图1)。将重复数据删除和数据压缩技术安装于存储系统或者高速传输的专用硬件上,可减少数据传输量,提高有效数据的传输速度。但是,这些技术要应用于移动终端上的软件,面临着以下课题。

  • 重复数据删除技术需要双方将第一次发送的数据保存在存储器,但是移动终端的存储器容量有限,在实现上存在困难。
  • 普通移动终端上的CPU,在删除重复,压缩时,CPU负载较高,通信整体处理比较费时。

20140408-02a

富士通研究所开发出了高速数据传输技术,即通过删除重复数据和压缩数据技术,通过软件减少传输的数据量,即使在移动终端上也能够提高有效数据的传输速度。该技术的特长如下。

富士通研究所开发出的技术,只选择网络传输中高频出现的数据,并优先保存。这样,不仅可以保持高能的重复数据删除,而且可以减少低频数据在存储器中的存储量,因此也适用于低存储容量的移动终端。在富士通研究所的实验中已确认,保存在移动终端存储器中的重复数据量最多可减少约80%。

20140408-02b

开发出的数据压缩技术,最多可减少至传统技术的约1/4的CPU使用率。在搜索数据内反复出现的数据模式的时候,若未查找到模式,将在零散间隔中进行搜索,若查找到模式,则将其前后的数据进行细致搜索,以实现全部数据的高效搜索,大幅缩短压缩处理的时间。

传输数据的删除重复,压缩处理技术,如果在传输数据较小,每次内容都不同的情况下使用,有时会出现数据传输速度下降的情况。该技术是否有效,依赖于发送数据的大小,网络可利用的带宽,终端的CPU能等,因此富士通研究所开发了一种技术,判定删除重复和压缩处理技术是否实施。定期收集相关信息,预测高速化的效果,从该结果进行判断。由此,系统运用管理者无需根据使用环境的变化调整设置,提高了运用能。

通过运用该技术,我们期待在越来越普及的云端、虚拟环境、移动环境中,各种通信应用可以得到便捷舒适地使用。且该技术实现了软件化,既可以安装在既有的服务器和OS上,也可以使用于笔记本电脑、平板终端、智能手机等移动终端。

比如,在营业员进行客户访问等的场景中,在访问A公司时,从办公室下载面向A公司的营业资料后,再次从办公室下载经过部分编辑后,面向B公司的资料时,下载过程中会删除重复的数据,可提高下载的速度(图3)。在可利用带宽为10Mbps的线路上进行的实验中,最多可提高10倍的速度。

1. 实现高性能删除重复数据的省内存技术

20140408-02c

富士通研究所目标于2014年实现本技术的实用化,正不断推进试点实验。此外,在数据中心、广域网、终端用户使用的智能设备等所有领域,富士通研究所努力为提高用户体验做出贡献。

华体会体育

注1 株式会社富士通研究所:

社长 佐相秀幸

总公司所在地 日本神奈川县川崎市

返回列表
分享:

Copyright © 2019 华体会HTH官方网站股份有限公司.粤ICP备16017609号

粤公网安备44030402003674号

网站地图 | XML地图

微信关注 微信关注
微博
0755-83218588
TOP