채니의 개발일기

정수인코딩 정수인코딩이란?(Integer Encoding) - 단어 토큰화 또는 형태소 토큰화를 수행했다면 각 단어에 고유한 정수를 부여 (= 고유한 정수로 매핑) - 중복이 허용되지 않는 모든 단어들의 집합을 만든다. - 이를 단어 집합(Vocabulary)이라고 하며 이를 기반으로 문서를 정수로 인코딩한다. 정수인코딩 방법 - 토큰화(Tokenization): 텍스트 데이터를 단어, 문장 또는 다른 유닛으로 분할합니다. 이 과정에서는 보통 단어를 기준으로 텍스트를 분할 - 단어 빈도수 계산: 토큰화된 결과로부터 각 단어의 빈도수를 계산한다. - 정수 할당: 가장 빈도가 높은 단어부터 순서대로 정수를 할당한다. 예를 들어, 'the'라는 단어가 가장 빈번하게 등장한다면 이에 대응되는 정수로 '1'을 할..

자연어처리 - 자연어란 우리가 일상 생활에서 사용하는 언로 이를 분석하여 컴퓨터가 처리할 수 있도록 하는일이 '자연어 처리 '이ㅏㄷ - 예시 ) 음성인식, 요약, 번역, 감성분석, 텍스트의 분류, 질의 응답 시스템 등등등... 자연어 처리 학습 목표 1. 딥러닝 자연어 처리의 핵심인 PLM(Pre-trained Language Model)이해 2. PLM을 이해하고자 딥러닝 기반지식을 배울 필요가 있다. 3. 한국어 대상을 할 경우의 주의점을 알 필요가 있다. 한국어 자연어 처리의 문제점 1. 한국어는 교착어(형태소 분석의 필요) 2. 한국어 띄어쓰기가 잘 지켜지지가 않음 3. 어순이 중요하지 않다.