SInce 20180106

텍스트를 바로 분석하거나, 임베딩을 할 수는 없다. 따라서, NLP는 사전에 텍스트를 가공하는 작업이 필요하다. 머신러닝 알고리즘이나 NLP API에 입력하기 위해, 텍스트 데이터를 클렌징, 토큰화, 어근화의 과정을 거치는 것을 텍스트 전처리 또는 텍스트 정규화라고 한다. (Text Preprocess, Text Normalization) 순서는 다음과 같다. 1) 클렌징 2) 토큰화 3) 필터링 및 스톱워드 제거 4) Stemming or Lemmatization 차례대로 간략하게 설명하도록 하겠다. 1. 클렌징 텍스트 분석에 불필요한 태그를 삭제하는 과정이다. 요즘 데이터는 대부분 크롤링을 해오기 때문에, html이나 xml태그를 삭제하는 과정이 이에 속한다. beautifulsoup4이나 selen..

1. 임베딩의 정의 컴퓨터는 인간이 사용하는 자연어(Natural Language)를 있는 그대로 이해할 수 없다. 따라서, 우리는 컴퓨터가 글자데이터를 분석할 수 있도록, 글자를 숫자형 데이터로 변형하여 전달해야 한다. 기계가 이해할 수 있는 숫자의 배열은 벡터라고도 하기 때문에, 일반적으로 문자를 숫자로 변환하는 과정을 '벡터화한다' 혹은 '워드를 임베딩한다'라고 말한다. 임베딩의 형태는 크게 두가지가 있다. 1) 희소표현 (Sparse Representation Matrix) One-Hot encoding을 통해, 코퍼스에 사용된 단어에 인덱스번호를 부여하고 해당 단어를 인덱스값으로 치환하는 방식이다. 즉, 10000개의 단어가 있다면 벡터는 10000차원의 데이터가 된다. ex) 코퍼스의 사이즈가..