数据存储产业服务平台

无损压缩技术助力大数据存储

2011年3月,中组部、国家发改委等15个中央部门和北京市联合印发了《关于中关村(000931,股吧)国家自主创新示范区建设人才特区的若干意见》,中关村加快建设首个中国特色的人才特区。

  中关村是我国科教智力和人才资源最为密集的区域,拥有以北京大学、清华大学为代表的高等院校近41所,以中国科学院、中国工程院所属院所为代表的国家(市)科研院所206所;大学科技园26家,留学人员创业园34家。

  中关村留学归国创业人才超过1.5万人,累计创办企业超过6000家,是国内留学归国人员创办企业数量最多的地区。

  张春成的手机里有一张“神图”:大小不到1M的航拍图,放大一次,出现了山脉;再放大一次,出现了山脉间的河道;继续放大,又出现了河道旁星罗棋布的帐篷……触摸屏的手机就这样被他的两指划动了十几次,最后呈现在眼前的是帐篷旁的女人右脚上清晰可见的布鞋。

  他告诉记者,这张原始大小将近800M的“神图”之所以能够变成一张几百K的图片存储在手机里,并且放大这么多次画质丝毫不受影响,归功于无损压缩技术。

  从ZCC(无损耗压缩可检索彩色文档技术)到ZCV(无损耗压缩视频编码技术),这位北京黔龙泰达科技发展有限公司的创始人所用的全新算法将原有的图像与视频大幅度压缩,打破了国外在图形图像领域和视频压缩领域的技术垄断。

  “以前需要几万个字节描述的文件,用我们的技术只需要几十个字节就可以描述清楚,文件自然就"缩小"了。当图像压缩到原来的百分之一甚至千分之一时,就解决了传输、管理和利用的难题。”张春成就是在用他独门的“缩小术”玩转这个“大数据”时代。

  在日本京都大学留学时,勤奋的张春成没有花太多时间享受这座城市如画的风光,他整日奔波在实验室和图书馆。博士毕业后,他在日本日立公司找到一份助理研究员的工作,但他的目光却一直注视着国内的新兴市场,最终他放弃了日立稳定的工作,带着满心期许和在日本赚到的“这一桶金”归国创业。

  “当时觉得国内的经济发展很快,机遇也很多,所以决定回来试一试。一回国就看中了中关村创业园,这里的环境很好,大家都比较有共同语言,有什么问题大家可以相互借鉴,有什么经验大家可以一起分享,交流上没有障碍。”

  但是,一腔创业的热情投放到现实中时却遭遇了不小的打击。公司创立初期,没有接到任何业务,公司处于零盈利状态,招来的员工眼见公司老不接单陆陆续续地离开了公司。张春成说:“我们的技术尽管很有竞争力,但是回国之后不熟悉国内的市场,很多相关的国家政策以及市场用户的需求都没有摸透,常常碰壁。”

  他苦笑着讲述创业初期的受挫经历。他曾经带着自己的技术和产品跑了好多家档案馆,档案馆的工作人员看到他的技术演示之后都赞不绝口,但是一问到是否有购买意愿时,对方连连摆手说没有经费;有的档案馆负责人说虽然对这项技术十分感兴趣,但馆内已经有了一套系统,如果换新系统的话,对接和兼容是一个大问题,也无奈地表示不愿采用。

  “就是这样,一次次被拒绝。在市场这一块我们确实走了很多的弯路。” 张春成看着公司不见起色,他想到了放弃。但看看依旧留在身边坚定支持自己的员工,他决定再赌一回。

  经过他和几位技术员的不懈努力,公司团队独立研发出了国内外领先的无损耗高压缩可检索的彩色文档技术和无损耗高压缩可检索的视频技术,这一技术突破能够把工程图纸扫描文件压缩到原文件的千分之一,也让公司在最困难的时候接到了一个项目。

  “这个项目是做一个设计院的档案系统,技术演示的时候对方给了我一张184M的图纸,最终我们把它压到了180多K,客户非常吃惊。之后他们又提出一系列的要求,我们也不断修改技术方案,一直到用户满意。”

  这一次的接单经历,让张春成燃起了希望。后来经朋友介绍,公司在2009年年底接到了第一个“大项目”。

  下单的是贵州省交警总队。业务洽谈时,张春成还是按照惯例演示了自己的技术,“说实话,当时完全不知道我们能为对方做点什么,直到演示完毕,对方才提出了要求”。

  管档案的要求把几十年的档案压缩后建立数据库,便于检索;管事故处理的希望把事故证据压缩后建立一个资源库,方便随时查找;管车辆和驾驶员信息的希望通过数据压缩节约开支,暂缓购买新服务器……

  张春成悉心听取了对方的所有想法,开始调兵遣将,着手研发,“从招人到培训到建立流水线,我们用了3个月组建新的团队,又用了3个月把项目圆满完成”。

  可是,还没等张春成的完美答卷提交上去,对方又提出了新的需求:希望他们把实时的视频存储问题也解决一下。

  张春成突然意识到,与图片压缩技术相比,用户更加需要视频压缩技术,他马上和团队开会讨论,将研发重点调整到视频压缩技术上。“这个技术以前我们是不做的,但是用户既然提出这样的需求,我们就一定要满足。”张春成的团队鏖战了数不清的日夜,终于找到视频压缩技术的切入点,最终将用户提供的历史视频数据压缩到原来的十分之一。

  客户再下“战帖”,在解决了历史视频压缩问题的基础上,希望把这个压缩技术植入前端摄像头,这样就可以实时拍摄,实时压缩。张春成的团队按照要求完成任务,不仅解决了带宽问题,更为用户节约了巨额的资金。

  现在,这一全新的技术已经在全国范围逐步推广。

  看到公司的业务蒸蒸日上,张春成庆幸自己当初没有放弃,“每一个公司,不管你业务做多大,在这样一个"大数据"时代里都是极其微小的一分子,但是如果我们的技术帮助别人解决了"大数据"的存储问题,解决了数据传输的带宽问题,为人们节约了系统资源,那我们公司的技术就是有价值的”。

  张春成说:“我梦想着有一天可以看到压缩存储技术走进每个人的生活,改变大家的观念,通过给这个"大数据"时代减负,让人们真正迎来一个环保高效的"绿色数据"时代!”

未经允许不得转载:存储在线-存储专业媒体 » 无损压缩技术助力大数据存储