专利内容由知识产权出版社提供
专利名称：一种基于Spark的流式数据处理方法及装置专利类型：发明专利
发明人：张良晖,左磊,严俊,罗承成,李阳,桑晓龙申请号：CN201610715496.X申请日：20160824公开号：CN106339448A公开日：20170118
摘要：本申请实施例提供一种基于Spark的流式数据处理方法及装置。其中方法包括：对数据源中的流式数据按时间为单位进行切分得到数据单元并分别保存；基于Spark,按照所述数据单元对所述保存的数据进行自动调取并处理。基于该种方法，最小化了数据的处理量，大大减少了处理数据对机器内存的依赖，同时也能很快地继续排序以及数据之间的关联操作，可以很快得到时间为单位的处理结果。
申请人：苏州新科兰德科技有限公司
地址：215123 江苏省苏州市苏州工业园区启月街288号紫金东方大厦307室
国籍：CN
代理机构：苏州创元专利商标事务所有限公司
更多信息请下载全文后查看
