阅读笔记4:(DITTO)Deep Entity Matching with Pre-Trained Language Models

目录

    - Motivation:论文想要解决的问题

    - Methodology:本文提出的方法

    - experiment:实验结果

Motivation

A novel entity matching system based on pretrained Transformer-based language models. 直接利用预训练的语言模型(BERT,DistilBERT, or ALBERT)做EM,发现效果已经很出色了。本文在此基础上提出了三种优化方式。

Methodology

Blocker:简单的启发式规则

- a. 要求两个tuple中需要包含相同的token;

- b. 与B表每个tuple最相似的K个A表中的tuple组成pair:b中每个tuple用tfidf(cos-sim top20)编码或 Sbert 编码(cos-sim top10)


优化Matching性能的三个手段:

- domain knowledge;

- summarizing long strings;

- augmenting training data with (difficult) examples


Architecture

分类直接使用Bert的分类结构,对输入数据进行了处理:



experiment

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容