티스토리

채니의 개발일기

검색하기

블로그 홈

채니의 개발일기

xcwaonvy.tistory.com/m

윤채니챈 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

Wodr2Vec - "비슷한 문맥에서 나타나는 단어들은 비슷한 의미를 가진다" - 단어의 의미를 반영한 임베딩 벡터를 만드는 대표적인 방법 - 벡터가 된 단어들은 이제 '벡터'이므로 서로 연산이 가능하다. Word2Vec의 두가지 학습 모델 1.CBOW : 주변의 단어들을 기반으로 중심단어 예측 2. SKip-Gram : 중심단어를 기반으로 주변단어 예측 CBOW - 주변 단어들(context words)을 기반으로 중심단어(center word)를 예측한다. 공감수 0 댓글수 0 2023. 10. 25.
다층퍼셉트론(소트맥스 회귀와 다층 퍼셉트론) 작성예정... 공감수 0 댓글수 0 2023. 10. 25.
다층퍼셉트론(로지스틱회귀) 작성예정.. 공감수 0 댓글수 0 2023. 10. 25.
머신러닝 분류(지도학습,비지도학습, 자기지도학습,강화학습) 지도학습 vs 비지도학습 vs 자기지도학습 vs 강화학습 지도학습 (Supervised Learining) : 기계학습의 한 방법으로, 입력값과 그에 상응하는 출력값(정답 레이블)을 포함하는 학습 데이터를 사용하여 모델을 학습시키는 방법 : 학습과정에서 모델은 입력값과 출력값 사이의 관계를 학습하게 되며, 이를 통해 새로운 이볅값에 대한 예측을 수행할 수 있게 된다. 1. 정답(뭐가 출력돼야 할지)를 알 고 있다. ex) 강아지사진과 고양이 사진을 입력값으로 사용할 때 CNN모델을 넣으면 강아지면 1, 고양이면 0을 출력한다. 2. 지도학습의 예) - 회귀(retression) : 회귀는 연속적인 값을 예측한다. 예를들어, 집의 크기, 위치, 방의 수등의 특징을 기반으로 집의 가격을 예측하는 문제는 회귀.. 공감수 0 댓글수 1 2023. 10. 23.
선형회귀(로지스틱 회귀분석) 머신러닝이란? 머신러닝은 컴퓨터가 데이터로부터 학습하는 능력을 갖추게 하는 연구 분야이다. 전통적인 프로그래밍에서는 문제를 해결하기 위해 명시적으로 알고리즘을 작성해야 한다 반면, 머신러닝에서는 컴퓨터가 대량의 데이터와 알고리즘을 사용하여 특정 작업을 수행하는 방법을 '학습'한다. *** 다수의 데이터들이 존재하지만 연산의 정체를 모를때 사용한다. 연산(알고리즘)은 블랙박스로 이 블랙박스를 찾는 과정이 머신러닝인것이다. 선형회귀 - 데이터를 반영하는 가장 적절한 선을 긋는 작업 - 변수들간의 관계를 나타내는 통계적인 방법으로 y=ax+b의 형태를 갖는다 - 최소제곱법 :선형회귀는 데이터 포인트들 사이의 최적의 직선을 찾는 것을 목표로 한다. 이 직선은 데이터 포인트들과의 거리가 최소가 되도록 한다. 빨간.. 공감수 0 댓글수 0 2023. 10. 11.
워드 임베딩(Word Embedding) 워드 임베딩이란? 이전참고글! 2023.10.09 - [인공지능/자연어처리] - 단어 벡터화(Vectorization) 단어 벡터화(Vectorization) *** 벡터화란? 데이터를 벡터 형태로 변환하는 과정 1. 벡터화에 신경망을 사용하지 않는 경우 단어에 대한 벡터표현 방법 : 원-핫 인코딩 문서에 대한 벡터표현방법: Document Term Matrix, TF-IDF 2. 벡터 xcwaonvy.tistory.com - 자연어 처리(NLP)와 딥러닝 분야에서 사용되는 기술로, 단어나 문장을 고차원에서 저차원의 벡터로 변환하는것 - 이 변환을 통해 단어나 문장간 의미적 관계를 벡터간에서의 거리나 방향으로 표현가능하다 희소표현 - 워드임베딩과 관련하여 자연어 처리에서 사용하는 단어표현방식 - 각 단어.. 공감수 0 댓글수 0 2023. 10. 10.
단어 벡터화(Vectorization) *** 벡터화란? 데이터를 벡터 형태로 변환하는 과정 1. 벡터화에 신경망을 사용하지 않는 경우 단어에 대한 벡터표현 방법 : 원-핫 인코딩 문서에 대한 벡터표현방법: Document Term Matrix, TF-IDF 2. 벡터에 신경망을 사용하는 경우(2008~2018) 단어에 대한 벡터 표현 방법: 워드 임베딩 문서에 대한 벡터표현방법: Doc2Vec, Sent2Vec 3. 문맥을 고려한 벡터 표현방법: ELMo,BERT,GPT,T5등 ..(2018-현재) Pre-trained Language Model의 시대 원-핫인코딩 원- 핫 인코딩은 전체 단어 집합의 크기를 벡터의차원으로 가진다. 각 단어에 고유한 정수 인덱스를 부여 한 후 해당 인덱스의 원소는 1, 나머지 원소는 0을 가진다. 각 범주에 .. 공감수 0 댓글수 1 2023. 10. 9.
NLP - 정수인코딩, 패딩, OOV 정수인코딩 정수인코딩이란?(Integer Encoding) - 단어 토큰화 또는 형태소 토큰화를 수행했다면 각 단어에 고유한 정수를 부여 (= 고유한 정수로 매핑) - 중복이 허용되지 않는 모든 단어들의 집합을 만든다. - 이를 단어 집합(Vocabulary)이라고 하며 이를 기반으로 문서를 정수로 인코딩한다. 정수인코딩 방법 - 토큰화(Tokenization): 텍스트 데이터를 단어, 문장 또는 다른 유닛으로 분할합니다. 이 과정에서는 보통 단어를 기준으로 텍스트를 분할 - 단어 빈도수 계산: 토큰화된 결과로부터 각 단어의 빈도수를 계산한다. - 정수 할당: 가장 빈도가 높은 단어부터 순서대로 정수를 할당한다. 예를 들어, 'the'라는 단어가 가장 빈번하게 등장한다면 이에 대응되는 정수로 '1'을 할.. 공감수 0 댓글수 1 2023. 10. 8.
맥북에서 konlpy다운로드 -> JVMNotFoundException 오류는 Konlpy와 같은 한국어 처리 라이브러리가 Java Virtual Machine(JVM)을 필요로 하는데, JVM이 시스템에 설치되어 있지 않거나 제대로 설정되지 않아 발생하는 오류이다. ava 설치 확인: 먼저, Java가 시스템에 설치되어 있는지 확인한다. 터미널에서 java -version 명령어를 실행하여 Java 버전이 제대로 출력되는지 확인. 2. JAVA_HOME 환경 변수 설정: JAVA_HOME 환경 변수가 올바르게 설정되어 있는지 확인. 터미널에서 echo $JAVA_HOME 명령어를 실행하여 경로가 제대로 출력되는지 확인. 경로가 올바르지 않다면, 적절한 Java JDK 경로로 JAVA_HOME을 설정. 2-1 . Java 경로확인 .. 공감수 0 댓글수 1 2023. 10. 8.
형태소 분석기 : kakao/khaiii 설치 https://github.com/kakao/khaiii/wiki/빌드-및-설치 빌드 및 설치 Kakao Hangul Analyzer III. Contribute to kakao/khaiii development by creating an account on GitHub. github.com 필요한 라이브러리 설치: !apt update !apt install cmake build-essential libboost-system-dev libboost-filesystem-dev 맥환경: brew install cmake sudo make install 2.gitHub에서 소스 코드 클론: !git clone https://github.com/kakao/khaiii.git 3. 빌드 및 설치: !mkdir .. 공감수 0 댓글수 0 2023. 10. 3.
인공지능이란? AI: 인간의 지능을 인공적으로 만든것으로 인간의 '지능'은 지적능령을 만드는것이다. 딥러닝의 핵심은 인간의 사고방식을 흉내내는 것이다. 인공지능 VS 머신러닝 VS 딥러닝 - ML(머신러닝):데이터 기반학습방식이다 - DL(딥러닝): DNN(Deep Neural Network)으로 인공신경망의 한 유형이다. 여러 층(레이어)로 구성된 신경망으로 이런 층들은 입력 데이터를 받아서 복잡한 패턴을 학습하고 분석하기 위해 다른 수의 뉴런의 구성되어있다. 1. Rule-based algrithms: AI지만 머시런닝은 포함하지 않으며, 규칙기반 알고림즘으로 특징을 찾아 규칙을 찾는방식이다. 예를들어, 고양이와 강아지 사진의 특징을 비교하며 규칙을 찾는 방식이다 2. 결정트리, 선형회귀, 퍼셉트로, SVM : M.. 공감수 0 댓글수 0 2023. 10. 2.
NLP - 토큰화 토큰화 - 토큰화 : 기계에서 어느 구간까지 문장이고, 단어인지 알려주는 것이다 - 자연어 처리 (NLP) 분야에서 중요한 전처리 단계 중 하나로, 텍스트를 작은 단위로 나누는 과정을 의미 - 단어 토큰화(토큰의 단위가 단어일 경우), 문장토큰화(토큰의 단위가 문장일 경우) 단어 토큰화(Treebank Word Tokenizer) - 주로 NLTK(Natural Language Toolkit) 라이브러리에서 제공되며, 영어 텍스트를 토큰화하는 데 사용된다. - Penn Treebank Tokenization은 영어 텍스트를 토큰으로 나눌 때 일반적으로 사용되는 규칙 중 하나로, 구두점, 줄 바꿈, 대소문자 등을 기반으로 단어를 분리한다. 구두점 처리: 구두점을 단어의 일부로 고려하며, 문장 부호, 쉼표,.. 공감수 0 댓글수 0 2023. 9. 28.
NLP란? 자연어처리 - 자연어란 우리가 일상 생활에서 사용하는 언로 이를 분석하여 컴퓨터가 처리할 수 있도록 하는일이 '자연어 처리 '이ㅏㄷ - 예시 ) 음성인식, 요약, 번역, 감성분석, 텍스트의 분류, 질의 응답 시스템 등등등... 자연어 처리 학습 목표 1. 딥러닝 자연어 처리의 핵심인 PLM(Pre-trained Language Model)이해 2. PLM을 이해하고자 딥러닝 기반지식을 배울 필요가 있다. 3. 한국어 대상을 할 경우의 주의점을 알 필요가 있다. 한국어 자연어 처리의 문제점 1. 한국어는 교착어(형태소 분석의 필요) 2. 한국어 띄어쓰기가 잘 지켜지지가 않음 3. 어순이 중요하지 않다. 공감수 1 댓글수 1 2023. 9. 28.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.