DEEP LEARNING

[PYTORCH] 자연어처리 - 토큰화

2024.02.04

자연어처리 자연어는 자연 언어라고도 부르며 사람들이 쓰는 언어활동을 위해 자연히 만들어진 언어를 의미한다. 자연어 처리는 컴퓨터가 인간의 언어를 이해하고 해석 및 생성하기 위한 기술을 의미한다. 자연어 처리 모델을 개발하기 위해서는 모호성, 가변성, 구조 문제를 해결해야 한다. 위와 같은 문제를 이해하고 구분할 수 있는 모델을 만들기 위해서는 말뭉치(Corpus)를 일정한 단위인 토큰(Token)으로 나눠야 한다. 말뭉치는 뉴스 기사, 사용자 리뷰 등에서 목적에 따라 구축되는 텍스트 데이터를 의미한다. 토큰은 개별 담어나 문장부호 같은 텍스트를 의미하며 말뭉치보다 더 작은 단위다. 말뭉치를 토큰 단위로 나누는 것을 토큰화라고 한다. 토큰화를 위해 토크나이저라는 것을 사용한다. 이 과정을 익히기 위해 파이..

DEEP LEARNING

[DEEP LEARNING] 1. 딥러닝이란 무엇인가 ?

2021.10.13

✅ Deep learning이란 ? [Deep learning > Representation Learning > machine learning > AI] ➰ Deep learning은 머신러닝(machine learning)의 안에 들어가는 개념이다. 머신러닝(machine learning)은 쉽게 말해서 기계를 학습시키는 것이며 여기서의 학습은 인간 학습과는 다르다. mitchell은 "한 컴퓨터 프로그램이 어떤 과제류 T에 속하는 과제들을 수행하며 그 수행의 성과를 측정한 측도가 P라고 할 때, 만일 어떤 경험 E 때문에 T의 성과 측도 P가 개선되었다면, 그 컴퓨터 프로그램은 경험 E로부터 학습한다고 말할 수 있다."라고 말했다. 즉 학습은 수학 수식을 개선하는 활동이라는 것이다. 그중에서도 Dee..

[PYTORCH] 자연어처리 - 토큰화

[DEEP LEARNING] 1. 딥러닝이란 무엇인가 ?

티스토리툴바