HOME > Detail View

Detail View

Designing and evaluating machine reading methods for multi-domain texts

Designing and evaluating machine reading methods for multi-domain texts

Material type
학위논문
Personal Author
김성순 金聖淳
Title Statement
Designing and evaluating machine reading methods for multi-domain texts / Seong Soon Kim
Publication, Distribution, etc
Seoul :   Graduate School, Korea University,   2017  
Physical Medium
ix, 109장 : 삽화, 도표 ; 26 cm
기타형태 저록
Designing and Evaluating Machine Reading Methods for Multi-domain Texts   (DCOLL211009)000000076212  
학위논문주기
학위논문(박사)-- 고려대학교 대학원: 컴퓨터·전파통신공학과, 2017. 8
학과코드
0510   6YD36   330  
General Note
지도교수: 姜在雨  
Bibliography, Etc. Note
참고문헌: 장 99-109
이용가능한 다른형태자료
PDF 파일로도 이용가능;   Requires PDF file reader(application/pdf)  
비통제주제어
Machine Reading , Machine Comprehension , Text Understanding , Machine Learning,,
000 00000nam c2200205 c 4500
001 000045915411
005 20171012165533
007 ta
008 170626s2017 ulkad bmAC 000c eng
040 ▼a 211009 ▼c 211009 ▼d 211009
041 0 ▼a eng ▼b kor
085 0 ▼a 0510 ▼2 KDCP
090 ▼a 0510 ▼b 6YD36 ▼c 330
100 1 ▼a 김성순 ▼g 金聖淳
245 1 0 ▼a Designing and evaluating machine reading methods for multi-domain texts / ▼d Seong Soon Kim
246 1 1 ▼a 다중 도메인 텍스트의 기계 이해를 위한 방법 설계 및 평가
260 ▼a Seoul : ▼b Graduate School, Korea University, ▼c 2017
300 ▼a ix, 109장 : ▼b 삽화, 도표 ; ▼c 26 cm
500 ▼a 지도교수: 姜在雨
502 1 ▼a 학위논문(박사)-- ▼b 고려대학교 대학원: ▼c 컴퓨터·전파통신공학과, ▼d 2017. 8
504 ▼a 참고문헌: 장 99-109
530 ▼a PDF 파일로도 이용가능; ▼c Requires PDF file reader(application/pdf)
653 ▼a Machine Reading ▼a Machine Comprehension ▼a Text Understanding ▼a Machine Learning
776 0 ▼t Designing and Evaluating Machine Reading Methods for Multi-domain Texts ▼w (DCOLL211009)000000076212
900 1 0 ▼a Kim, Seong-soon, ▼e
900 1 0 ▼a 강재우 ▼g 姜在雨, ▼e 지도교수
945 ▼a KLPA

Electronic Information

No. Title Service
1
Designing and evaluating machine reading methods for multi-domain texts (120회 열람)
View PDF Abstract Table of Contents

Holdings Information

No. Location Call Number Accession No. Availability Due Date Make a Reservation Service
No. 1 Location Science & Engineering Library/Stacks(Thesis)/ Call Number 0510 6YD36 330 Accession No. 123056929 Availability Available Due Date Make a Reservation Service B M

Contents information

Abstract

지난 10여 년간 정보기술의 발전에 따라 빅데이터 시대가 열리면서 웹을 중심으로 다양한 분야에서 정보의 생산 및 유통량이 폭발적으로 증가하였다. 이러한 빅데이터는 다양한 형태를 띠고 있으며, 그중의 대부분은 텍스트 형식으로 이루어져 있다. 사용자가 대량의 데이터에서 지식을 얻기 위해서는 텍스트를 읽고 그 안에 포함된 정보를 추출해야 한다. 그러나 전문가가 다수의 텍스트를 일일이 검토하기에는 시간적, 비용적 한계점이 존재하며 폭증하는 데이터에 효과적으로 대응하기 어렵다. 따라서 기계적인 방법을 통하여 텍스트에서 자동으로 지식을 추출하는 연구들이 지난 수년간 수행됐다. 특히, 해당 연구는 기계가 텍스트를 읽고 그 안에 포함된 내용을 처리하는 연구는 자연어 처리, 정보 추출 및 검색 분야에서 `기계 이해'라는 주제로 주목받고 있다. 한편, 최근에는 딥러닝을 중심으로 하는 인공지능 기술의 발전으로 인해 종래의 단순한 지식 추출을 넘어서서 기계가 텍스트의 의미를 이해하고, 이를 바탕으로 다양한 작업을 수행할 수 있는 수준으로 발전하였다. 그러나 기존의 `기계 이해'연구들은 처리 가능한 텍스트의 도메인이 한정적이며, `이해한다'라는 행위와 개념의 기계적 접근방법에 대한 충분한 논의 없이 벤치마크 데이터셋을 사용한 질의-응답 태스크의 성능 향상에만 집중하는 한계점이 있었다.

본 논문에서는 다중 도메인 텍스트에서 `기계 이해'를 효과적으로 수행할 수 있는 방법론 및 이에 필요한 텍스트 데이터셋을 제안함으로써 기존의 '기계 이해'연구의 한계를 보완하고자 한다. 구체적인 접근 방법은 다음과 같다. 첫째, 정보추출 기반의 기계 이해 시스템은 객체 간 관계 추출을 주목적으로 하고 있으며, 사실 정보가 담긴 지식베이스에 의존하기 때문에 뉴스나 웹 페이지 같은 사실적 정보가 포함된 텍스트만 처리할 수 있는 한계가 있었다. 본 연구에서는 외부 지식의 도움 없이 텍스트 자체에 내포된 의미를 파악하고 추출하기 위하여 프레임넷을 사용하여 문장의 의미를 정형화된 형태로 추출하고, 이를 기반으로 텍스트의 의미적 차이를 규명할 수 있는 방법론을 소개한다. 둘째로, 기계가 문장의 의미를 이해한다는 개념을 재정의 하기 위하여 추상 의미 표현 그래프를 사용하여 인지과학적 관점에서 사람의 인지 과정을 모델링하는 연구를 수행한다. 마지막으로, 제한된 텍스트 영역에서만 수행되었던 딥러닝 기반의 `기계 이해' 모델을 생명의료 분야의 텍스트로 확장하는 데 필요한 데이터셋 생성 방법과 모델 성능 향상 방안을 제안한다. 아울러 본 논문에서 제안된 `기계 이해' 방법들을 다양한 실험을 통해 검증하고 사용자 생성문서 및 생명의료 문헌 빅데이터를 포함하는 다중 도메인 텍스트 데이터셋에 적용하여 분류, 분석 및 질의-응답과 같은 자연어 처리 태스크를 효과적으로 수행할 수 있음을 보인다.


Over the last decade, we have witnessed an explosion of information available on the Web in the era of Big Data. Today, multiple data sources, from the user generated content to scientific literature, produce massive amounts of valuable data mostly in text format. However, the processing capabilities of humans cannot keep up with the speed of data growth, making it increasingly difficult to convert information to knowledge. As a result, efforts have been made to automatically extract and structure information from many text corpora in the data mining and natural language processing research communities. In recent years, due to the development of artificial intelligence technology especially deep learning, existing text mining and Natural Language Processing (NLP) technology has developed beyond simple knowledge extraction to a level where a machine can understand the meaning of a text and perform various tasks through it. This dissertation proposes machine reading methods for solving machine comprehension tasks on multi-domain text corpora. Whereas existing systems focus solely on performance evaluation using benchmark datasets, we first define a concept of machine understanding from cognitive informatics perspective. Then, we introduce a new machine understanding method using concept graph. Finally, unlike the existing systems proposed for machine understanding tasks in a limited domain, we applied our methods to various text domain sources from user-generated content on the Web to biomedical literature. We achieve our research objectives through exploiting semantic tools resources such as FrameNet and Abstract Meaning Representation with conventional machine learning models and recent deep neural architecture. Using quantitative experiments and qualitative analysis, we show that our proposed machine understanding methods are scalable and effective in solving a wide range of NLP tasks including content classification and Question-Answering.

Table of Contents

Abstract
Contents i
List of Figures v
List of Tables viii
1 Introduction 1
1.1 Background and Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Challenges and Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Our Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.5 Thesis Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2 Preliminaries: Semantic Resources for Text Understanding 9
2.1 FrameNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.1 FrameNet Overview . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.2 Application using FrameNet . . . . . . . . . . . . . . . . . . . . . . 11
2.2 Abstract Meaning Representation . . . . . . . . . . . . . . . . . . . . . . . 11
3 Uger-generated Text Understanding and Classification using Semantic Frames 13
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.2 Related Works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.3 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.3.1 Discriminative Frame Selection . . . . . . . . . . . . . . . . . . . . 21
3.4 Qualitative Evaluation of Frame Features . . . . . . . . . . . . . . . . . . 23
3.4.1 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.4.2 Frame-based Semantic Analysis . . . . . . . . . . . . . . . . . . . . 25
3.5 Frame Feature Validation on Classification Tasks . . . . . . . . . . . . . . 32
3.5.1 Data Pre-processing and Frame Extraction . . . . . . . . . . . . . 32
3.5.2 Classification Task . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.6 Case Study 1: Content Similarity Analysis using Frame Characteristics . . 38
3.6.1 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.6.2 Classification Task using a Deep Neural Model . . . . . . . . . . . 40
3.6.3 Frame-Semantic Similarity Analysis . . . . . . . . . . . . . . . . . 41
3.7 Case Study 2: Fake News Detection and Analysis using Semantic Frames 43
3.7.1 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.7.2 Frame Analysis on the news dataset . . . . . . . . . . . . . . . . . 45
3.8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4 Machine Comprehension with Abstract Meaning Representation Graph 47
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.2 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.2.1 Machine Comprehension Task . . . . . . . . . . . . . . . . . . . . . 50
4.2.2 Abstract Meaning Representation . . . . . . . . . . . . . . . . . . . 50
4.2.3 Cognitive Process of Human Comprehension . . . . . . . . . . . . 51
4.3 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.4 Proposed Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.4.1 Machine Comprehension using AMR Graph . . . . . . . . . . . . . 55
4.4.2 Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.4.3 Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.5 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.5.1 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.5.2 Pre-processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.5.3 System Results on the MCTest Dataset . . . . . . . . . . . . . . . 66
4.6 Case Study and Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.7 Application: Machine Comprehension of User Generated Text on the Web 71
4.7.1 UGT Dataset Generation . . . . . . . . . . . . . . . . . . . . . . . 72
4.7.2 Machine Comprehension Results on the UGT Dataset . . . . . . . 72
4.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
5 Biomedical Text Comprehension using an Attention-based Deep Neural Reader 75
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.2.1 Cloze-style Biomedical Machine Comprehension Task Overview . . 78
5.2.2 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.2.3 Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5.2.4 Improving Model Performance . . . . . . . . . . . . . . . . . . . . 84
5.3 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.3.1 Deep Learning Model Performance . . . . . . . . . . . . . . . . . . 87
5.3.2 Human Performance . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.4 Discussion and Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.4.1 Error Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.4.2 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
6 Conclusions 95
6.1 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
6.2 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
Bibliography 99
국문초록
Acknowledgement