专利名称：一种数据去重方法、装置、终端及存储介质专利类型：发明专利
发明人：李鹏飞,谢永恒,万月亮申请号：CN201911216108.3申请日：20191202公开号：CN110941598A公开日：20200331
摘要：本发明实施例公开了一种数据去重方法、装置、终端及存储介质。该方法包括：获取设定数据类型的第一去重数据集，并根据数据属性集合和与各第一去重数据分别包括的数据属性，计算第一去重数据间的属性相似度向量；根据属性相似度向量，以及与数据属性集合匹配的属性权重向量，计算任意两个第一去重数据间的数据相似度；根据计算得到的数据相似度，对第一去重数据集进行去重处理。本发明实施例所提供的技术方案，解决了现有技术针对非结构化数据去重效果不理想的问题，实现了对非结构化数据的准确去重，提高了数据去重的效率，节约了数据入库的时间及数据占用的硬件成本。
申请人：北京锐安科技有限公司
地址：100044 北京市海淀区西小口路66号中关村东升科技园北领地B-2号楼七层
国籍：CN
代理机构：北京品源专利代理有限公司
代理人：孟金喆
更多信息请下载全文后查看
因篇幅问题不能全部显示，请点此查看更多更全内容