压缩数据加快运算

jopen 11年前

  大数据是今天计算机科学的热门词,MIT 的研究人员则反其道而行之,他们的算法可以在短时间内根据小数据推断出结论。大数据占用大量的空间,而处理数据也是一项耗时的工作。MIT 的方法既快又不占空间。论文(PDF)在 ACM 的地理信息系统国际会议上公开。

  研究人员应用该技术处理 GPS 接收器的二维位置数据,GPS 接收器每 10 秒钟记录一次位置读数,每天它可能会积累上 Gb 的数据。如果一个计算机系统要根据数万辆汽车的 GPS 数据推断交通模式,它很快会被大数据所击垮。分析汽车路线并不需要精确位置数据,其实只要知道它在什么地方转弯就行了,之间的路线我们可以用近似直线代替,这就是新算法的工作原理。每接收到 1Mb 数据,它就压缩一次,以此类推,在完成所有数据接收前它就已经保存了足够多的信息。

来自: Solidot