MRC
[부스트캠프][P-stage][WK11 / Day49,50] MRC 3
1. 강의 내용 Scaling up with FAISS (서민준 교수님) 1) Passage Retrieval and Similarity Search MIPS(Maximum Inner Product Search) 주어진 질문(query) 벡터 q에 대해 Passage 벡터 v들 중 가장 질문과 관련된 벡터를 찾아야함 -> 여기서 관련성은 내적(inner product)이 가장 큰 것 4, 5 강에서는 brute-force(exhaustive) search 방식의 검색을 사용했는데, 이때 저장해둔 모든 Sparse/Dense 임베딩에 대해 일일히 내적값을 계산하여 가장 값이 큰 passage를 추출했습니다. 하지만 이 방식은 passage의 개수가 많아질수록 비효율적이게 됩니다. 실제로 검색해야할 데이터는..
[부스트캠프][P-stage][WK11 / Day47] MRC 1
1. 강의 내용 MRC Intro & Python Basics (서민준님) 1) Introduction to MRC 기계 독해 (Machine Reading Comprehension)이란 주어진 지문 (context)를 이해하고, 주어진 질의 (Query/Question)의 답변을 추론하는 문제입니다. MRC의 종류 Extractive Answer Datasets : 질의 (question)에 대한 답이 항상 주어진 지문 (context)의 segment (or span)으로 존재 Span Extraction: SQuAD, KorQuAD, NewsQA, Natural Questions, etc Descriptive/Narrative Answer Datasets : 답이 지문 내에서 추출한 span이 아니..