AI
[DEEP LEARNING] 자연어처리 - 토큰화
자연어처리자연어는 자연 언어라고도 부르며 사람들이 쓰는 언어활동을 위해 자연히 만들어진 언어를 의미한다. 자연어 처리는 컴퓨터가 인간의 언어를 이해하고 해석 및 생성하기 위한 기술을 의미한다. 자연어 처리 모델을 개발하기 위해서는 모호성, 가변성, 구조 문제를 해결해야 한다. 위와 같은 문제를 이해하고 구분할 수 있는 모델을 만들기 위해서는 말뭉치(Corpus)를 일정한 단위인 토큰(Token)으로 나눠야 한다. 말뭉치는 뉴스 기사, 사용자 리뷰 등에서 목적에 따라 구축되는 텍스트 데이터를 의미한다. 토큰은 개별 담어나 문장부호 같은 텍스트를 의미하며 말뭉치보다 더 작은 단위다. 말뭉치를 토큰 단위로 나누는 것을 토큰화라고 한다. 토큰화를 위해 토크나이저라는 것을 사용한다. 이 과정을 익히기 위해 파이썬..
[MACHINE LEARNNG] 04 Multi-variable Linear Regression
목차 1. Multi-variable Linear Regression 2. Hypothesis Using Matrix 1. Multi-variable Linear Regression(다중 선형 회귀) 우리가 지금까지 배웠던 Linear Regression은 변수 X가 한 개, 변수 Y가 한 개 있는 Regression이었다. 하지만 실제로 사용할 데이터에서는 위 사진의 데이터와 같이 변수 X가 여러 개인 경우가 많다. 이럴 때 사용하는 Regression을 Multi-variable Linear Regression(다중 선형 회귀)이라고 한다. 명칭 그대로 독립 변수가 여러 개 일 때 Y를 예측하는 것을 말한다. 2. Hypothesis Using Matrix Multi-variable Linear Re..
[MACHINE LEARNING] 03 Gradient Descent Algorithm
목차 1. Gradient Descent Algorithm 2. Convex Function 1. Gradient Descent Algorithm(경사 하강 알고리즘) Linear Regression의 목표는 Cost를 최소화하는 Weight, bias를 찾는 것이다. cost를 최소화하는 방법으로는 보통 Gradient Descent Algorithm(경사 하강 알고리즘)을 사용한다. 이는 (0, 0) 원점 또는 어떤 값에서 시작하여 Weight나 bias를 조금씩 바꿔가면서 Cost를 줄이고 경사도를 계산하는 과정을 계속 반복하여 Cost의 최솟값을 가지는 Weight와 bias의 값을 찾는 방법이다. 경사도는 미분을 이용하여 계산할 수 있다. 미분을 쉽게 하기 위해서 Cost Function의 분모..
