채니의 개발일기

전처리가 안될때..-> repr() 함수 사용

윤채니챈 — Mon, 20 Nov 2023 17:10:17 +0900

import re

for i, summary in enumerate(df['book_text_summary']):
    summary = str(summary)
    print(repr(summary))
    summary = summary.replace('.\n', ' . ')
    summary = re.sub(r'\r\n', ' ', summary)  # Replace newline characters with space
    summary = re.sub(r'\\n', '', summary)  # 개행 문자 완전 제거
    summary = summary.replace('.\n', ' . ')
    summary = summary.strip()  # Remove leading and trailing whitespaces

    # Regular expressions to remove unwanted characters
    patterns = [r'\d+\s*쪽', '-', '_', '중에서', r'\(', r'\)', 'p\.']
    for pattern in patterns:
        summary = re.sub(pattern, '', summary)

-> 이런 저런 코드를 사용해도 '\n' 안지워짐

대안: repr()함수 사용

repr() 함수는 파이썬에서 객체를 문자열로 표현하는 데 사용된다.

이 함수의 주요 목적은 객체를 개발자가 이해할 수 있는 형태로 표현하는 것이다.

s = "Hello\nWorld"
print(s)        # 출력: Hello (new line) World
print(repr(s))  # 출력: 'Hello\nWorld'

-> repr()은 문자열이나 다른 객체의 내부 표현을 정확히 이해하고자 할 때 매우 유용

파이썬 - pandas 라이브러리 unique()

윤채니챈 — Tue, 14 Nov 2023 15:06:53 +0900

.unique()함수

: pandas 라이브러리 일부로 해당 열에서 고유한 값들의 배열을 반환한다.

import pandas as pd

# 간단한 데이터프레임 생성
data = {
    'book_title': ['Book A', 'Book B', 'Book C', 'Book D', 'Book E'],
    'book_genre': ['Fantasy', 'Science Fiction', 'Fantasy', 'Mystery', 'Science Fiction']
}

df = pd.DataFrame(data)

# book_genre 열에서 고유한 장르 추출
unique_genres = df['book_genre'].unique()

print(unique_genres)

->unique한 결과값

['Fantasy', 'Science Fiction', 'Mystery']

베이즈정리(확률모델,황금법칙)

윤채니챈 — Thu, 2 Nov 2023 17:59:47 +0900

예) 스팸분류 모델

- 하나의 소프트웨어를 만들고 싶다고 가정하자.

입력 : 하나의 텍스트(text)
출력 : 텍스트가 특정 클랙스(스팸 혹은 햄)에 속할확률
목표 : 하나의 텍스트(text) x가 스팸(spam) y일 확률 계산

-> 이때 텍스트 확률변수를 X, 클래의 확률 변수를 Y라고 하자.

-> 클래스는 오직 두개만 존재한다고 가정 (y1= 햄, y2=스팸)

: "특가"라는 단어가 포함되었을때, y1 (=햄)이 나올확률과 y2(=스팸)이 나올 확률은 각각 5%,95%이다.

문제상황

현재 받은 메일 중 70%는 스팸메일, 30%는 정상메일이다.

스팸메일중 90%가 "대출"이라는 단어가 포함되어있다

정상메일 중 3%가 "대출"이라는 단어가 포함되어있다.

이때, "대출"이라는 단어가 들어가 있는 메일이 스팸이 확률은?

- 선수 지식 : 조건부 확률 P(Y|X)

사건 X가 발생했을 때, 사건 Y가 발생할 확률을 의미

베이즈 정리(Bayes' Theorem)

P(Y|X)를 계산할 수 있으면, 우리가 원하는 프로그램을 만들 수 있다.
하지만 P(X|Y)를 직접적으로 계산하는것이 어려울때, 베이즈 정리에 기반한 방법을 이용한다.
베이즈 정리 공식

- P(X) : 특정 텍스트가 나올 확률

- P(Y): 특정 클래스가 나올 확률

- P(X|Y) : 특정 클래스에서 특정 텍스트가 나올 확률

- P(Y|X): 특정 텍스트에서 특정 클래스가 나올 확률

- P(X,Y) : X와 Y가 동시에 발생할 확률

∝ ℎ ×

(** P(Y|X) = P(X|Y)P(Y) /P(X))

사전확률

- 사후확률 : 증거를 본 후 가설에 대한 확률 (= 우리가 알고 싶은 것 ) : P(Y|X)

- 가능도 : 가설 하의 증거 -> P(X|Y)

- 사전확률 : 증거를 보기 전의 가설에 대한 확률 ->P(Y)

베이즈 정리 : 조건부 확률을 구하는 공식
베이즈 정리를 이용하면, 다양한 확률 문제를 해결 할 수 있다.
베이즈 정리 공식 :P(A|B) =P(B|A)P(A)/P(B)

- 공식 유도

다시 문제 해결로..

- 지금까지 받은 메일을 확인해보니 , 70%는 스팸메일, 30%는 정상 메일

- 스팸 메일 중에서 90%는 "대출"이라는 단어 포함

- 정상 메일 중에서 3%는 "대출"이라는 단어 포함

- Q : 이때, "대출"이라는 단어가 들어있는 메일이 스팸 메일일 확률은?

X = "대출"단어포함

Y 1 = 정상, Y2 = 스팸

P(스팸) = (Y2)= 0.7

P(정상) =P(Y1) = 0.3

P(대출) = P(X) =? ->구해야할것

P(대출|정상) = P(X|Y1) = P(Y1|X)P(X)/P(X)

P(대출|스팸) = P(X|Y2 ) = P(Y2|X)P(X)/P(X)

P(X) =

P(X)=P(X∣정상)⋅P(정상)+P(X∣스팸)⋅P(스팸)

P(X∣정상)은 메일이 정상일 때 "대출"이라는 단어가 포함될 확률로, 3% 또는 0.03
P(정상)은 메일이 정상일 확률로, 30% 또는 0.3

를 계산하면:

P(X)=(0.03⋅0.3)+(0.9⋅0.7)

P(X)=(0.009)+(0.63)

P(X)=0.639

-> 정답 :

P(스팸|대출) = P(대출|스팸)P(스팸)/P(대출) =0.9*07/0639

확률모델

- 일반적인 분류모델 P(y|x)은 다음과 같은 공식으로 예측결과 ŷ를 계산한다.

- 이모델은 조건부확률 P(y|x)를 사용하여 주어진 입력 x가 주어졌을때 가능한 각 결과 y를 추정한다.

ŷ = argmax_y P(y|x)

- 가능한 모든 클래스 중에 가장 높은 클래스를 선택 -> ex: 강아지, 새, 고양이 등의 클래스가 들어갈때, 가장 높은 값을 표현하는 y를 찾는것

황금범칙(Golden Rule)

- 텍스트 x(이미지나, 텍스트나...)가 주어졌을 때, 이 텍스트는 어떤 클래스(y)로 분류될까?

- y^ = argmax_y P(y|x) = argmax_y P(y|x)P(y) = argmax_y P(y|x)P(y)

- 따라서 분모에 해당하는 P(x)는 고려하지 않아도 된다

최대 우도 추정(Maximum Likelihood Estimation)

가능도(likehood)가 가장 높은 클래스를 선택하는 방법
x는 특징(feature)혹은 데이터를 말한다
x = 광고성 단어의개수("특가")등이라고 해보자
현재 예시에선 x>= 5이라면 스팬으로 분로하면된다

- 우리는 사후확률(posterior)을 직접적으로 계산하기 어렵기 때문에 가능도를 이용한다

- 하지만 가능도만으로 사후확률을 근사할 수 없다.

∝ ℎ ×

** P(Y|X) = P(X|Y)P(Y) /P(X)

사전확률

- 만약 prior가 uniform distribution을 따르지 않는다면?

응답헤더 : Access-Control-Allow-Origin: *

윤채니챈 — Mon, 30 Oct 2023 13:19:22 +0900

Access-Control-Allow-Origin: *

모든 출처에서의 요청을 허용한다는 것을 의미. 즉, 어떤 웹 사이트에서든 해당 서버의 리소스에 접근할 수 있다.

Ajax 사용을 허용하는지 확인하려면:

개발자 도구 사용:
1. 웹 브라우저에서 개발자 도구를 열고 (대부분의 브라우저에서 F12 키 또는 Ctrl+Shift+I로 열 수 있습니다) 'Network' 탭으로 이동
2. 해당 API 또는 리소스에 요청을 보냅니다.
3. 'Network' 탭에서 해당 요청을 선택하고, 응답 헤더를 확인한다.
Access-Control-Allow-Origin 헤더의 값을 확인한다

2. 코드를 사용하여 확인:
1. JavaScript의 XMLHttpRequest 또는 fetch API를 사용하여 해당 리소스에 요청을 보낼 수 있다 .
2. 요청이 성공하면 해당 리소스는 Ajax 요청을 허용하고 있음을 의미.

3. 그러나 실패하면 CORS 정책 때문에 요청이 차단된 것일 수 있다.

XMLHttpRequest 객체

윤채니챈 — Sun, 29 Oct 2023 11:51:03 +0900

XMLHttpRequst

- XMLHttpRequest객체는 웹 브라우저의 API 중 하나로, 웹페이지가 서버와 비동기적으로 데이터를 교환할 수 있게 해주는 핵심객체이다.

- 이 객체를 사용하면 페이지 전체를 새로고침하지 않고도 서버로부터 데이터를 받아올 수 있다.

- 사용자 경험이 향상되며, 애플리케이션의 반응성이 높아진다.

기본사용방법

: "XMLHttpRequst'객체를 생성하는 방법에는 여러가지 방법에는 웹브라우저의 종류에 따라 다를 수 있다.

1. XMLHttpRequset 객체 생성 이용 방법 :

대부분의 현대 웹 브라우저에서는 'XMLHttpRequset'객체를 내장하고 있다.

생성방법은 다으과 같다.

var xhr = new XMLHttpRequest();

2. ActiveXobject 객체를 이용한 방법:

구형의 internet Explorer, 특히 IE5와 6에서는 'XMLHttpRequest'객체 대신 'ActiveXObject'를 이용하여 기능을 수행한다.

var xhr = new ActiveXOject("Microsoft.XMLHTTP");

3. 모든 웹 브라우저에서 호환되는 XMLHttpRequest 객체 생성:

위으 두 가지 방법을 결합하여 모든 웹 브라우저에서 'XMLHttpRequest'객체를 생성하는 함수를 작성할 수 있다.

이렇게하면 다양한 웹 브라우저에서 동작하게 된다.

var httpRequest;

function createRequest(){

	if(window.XMLHttpREquest){ // 대부분의 웹 브라우저 
    	httpRequest = new XMLHttpRequest();
    }else if(window.ActiveXObject){ // IE 5와 6
    	httpRequest = new ActiveXObject("Microsoft.XMLHTTP");
    }
    
    if(!httpRequest){
    	aleter("XMLHTTP 인스턴스를 생성할 수 없다.");
        return false;
    }
     return httpRequest;
   
  }

DOM API

윤채니챈 — Sun, 29 Oct 2023 11:35:37 +0900

DOM API

** DOM이란? 웹페이지 구조를 표현하는 프로그래밍 인터페이스

DOM은 웹페이지의 모든 요소를 객체로 표현하며, 이 객체들은 프로퍼티와 메서드를 가지고 있어 웹페이지의 내용,구조, 스타일 등을 동적으로 변경 할 수 있다.

: Ajax 를 이용하여 웹페이지의 일부만을 갱신하려면 더욱 다양한 DOM 속성을 활용해야한다.

따라서, DOM과 관련된 다양한 API를 이용하여 노드를 동적으로 생성하고, 조작할 수 있어야 한다.

노드의 추가

: 웹페이지의 DOM 구조를 동적으로 변경하기 위해 노드를 추가하는 것은 자주 사용되는 작업 중 하나

1. appendChild() : appendChild() 메소드는 새로운 노드를 해당 노드의 자식 노드 리스트의 맨 마지막에 추가한다. 만약 추가하려는 노드가 이미 DOM에 존재한다면, 해당 노드는 현재 위치에서 제거되고 새로운 위치에 추가하게 된다.

2. insertBefoer() : insertBefoer() 메소드는 새로운 노드를 지정한 참조 노드의 바로 앞에 추가한다. 이 메소드는 두개의 인자를 받는다. 추가하려는 노드와 참조 노드이다.

3. insertData() : insertData() 메소드는 테스트 노드의 특정 위치에 새로운 텍스트 데이터를 추가한다. 이 메소드는 텍스트 노드에만 사용할 수 있으며, 시작 위치와 추가할 텍스트를 인자로 받는다.

function appendNode(){

	var parent = document.getElementById("list"); 
    // 아이디가 "list"인 요소선택"
    var NewItem = document.createElement("li"); //새로운 <li>요소 생성
    newItem.textContent ="새로운항목 "; // <li>요소의 텍스트 내용 설정
    parent.appendChild(newItem);//'list'요소의 맨 마지막 자식 노드로 추가한다. 
 
 }

노드의 생성

생성할 노드의 종류에 따라 다음과 같은 메소드를 사용할 수 있다.

1. createElement() : 새로운 요소 노드를 생성함.

2. createAttribute() : 새로운 속성 노드를 생성함.

3. createTextNode() : 새로운 텍스트 노드를 생성함.

function createNode() {
    var criteriaNode = document.getElementById("text"); // 기준이 되는 요소로 아이디가 "text"인 요소를 선택함.
    var newNode = document.createElement("p");          // 새로운 <p> 요소를 생성함.
    newNode.innerHTML = "새로운 단락입니다.";
    document.body.insertBefore(newNode, criteriaNode);  // 새로운 요소를 기준이 되는 요소 바로 앞에 추가함.
}

노드의 제거

다음 메소드를 사용하면 특정 노드를 제거할 수 있다.

1. removeChild() : 기존의 노드 리스트에서 특정 노드를 제거함.

2. removeAttribute() : 속성의 이름을 이용하여 특정 속성 노드를 제거함.

var parent = document.getElementById("list");      // 아이디가 "list"인 요소를 선택함.
var removedItem = document.getElementById("item"); // 아이디가 "item"인 요소를 선택함.
parent.removeChild(removedItem);                   // 지정된 요소를 삭제함.

노드의 값 변경

nodeValue 프로퍼티를 사용하면 특정 노드의 값을 변경할 수 있다.

또한, setAttribute() 메소드는 속성 노드의 속성값을 변경할 수 있게 해준다.

var para = document.getElementById("text"); // 아이디가 "text"인 요소를 선택함.
function changeText() {
    para.firstChild.nodeValue = "텍스트 변경 완료!";
}

노드의 교체

replaceChild() 메소드를 사용하면 특정 노드 그 자체를 다른 노드로 바꿀 수 있다.

var parent = document.getElementById("parent"); // 부모 노드를 선택함.
var first = document.getElementById("first");
var third = document.getElementById("third");
function changeNode() {
    parent.replaceChild(third, first);          // first 요소를 삭제하고, 그 대신 third 요소를 삽입함.
}

Wodr2Vec

윤채니챈 — Wed, 25 Oct 2023 13:31:03 +0900

- "비슷한 문맥에서 나타나는 단어들은 비슷한 의미를 가진다"

- 단어의 의미를 반영한 임베딩 벡터를 만드는 대표적인 방법

- 벡터가 된 단어들은 이제 '벡터'이므로 서로 연산이 가능하다.

Word2Vec의 두가지 학습 모델

1.CBOW : 주변의 단어들을 기반으로 중심단어 예측

2. SKip-Gram : 중심단어를 기반으로 주변단어 예측

CBOW

- 주변 단어들(context words)을 기반으로 중심단어(center word)를 예측한다.

다층퍼셉트론(소트맥스 회귀와 다층 퍼셉트론)

윤채니챈 — Wed, 25 Oct 2023 10:30:14 +0900

작성예정...

다층퍼셉트론(로지스틱회귀)

윤채니챈 — Wed, 25 Oct 2023 10:29:41 +0900

작성예정..

머신러닝 분류(지도학습,비지도학습, 자기지도학습,강화학습)

윤채니챈 — Mon, 23 Oct 2023 23:52:55 +0900

지도학습 vs 비지도학습 vs 자기지도학습 vs 강화학습

지도학습 (Supervised Learining)

: 기계학습의 한 방법으로, 입력값과 그에 상응하는 출력값(정답 레이블)을 포함하는 학습 데이터를 사용하여 모델을 학습시키는 방법

: 학습과정에서 모델은 입력값과 출력값 사이의 관계를 학습하게 되며, 이를 통해 새로운 이볅값에 대한 예측을 수행할 수 있게 된다.

1. 정답(뭐가 출력돼야 할지)를 알 고 있다.

ex) 강아지사진과 고양이 사진을 입력값으로 사용할 때 CNN모델을 넣으면 강아지면 1, 고양이면 0을 출력한다.

2. 지도학습의 예)

- 회귀(retression) : 회귀는 연속적인 값을 예측한다. 예를들어, 집의 크기, 위치, 방의 수등의 특징을 기반으로 집의 가격을 예측하는 문제는 회귀문제이다.

- 분류(Classification) : 분류는 주어진 입력밧을 두 개 이상의 클래스 중 하나로 분류하는 문제에 사용된다. 위의 강아 고양이 분류 문제의 예이다.

비지도학습

: 정답을 모른다.

: 학습 데이터에 정답 레이블이 포함되어 있지 안는 방법으로 데이터의 숨겨진 패턴,구조,관계등을 찾아내는데 중점을 둔다.

1. 군집화(Clustering)

- 군집화는 비슷한 특성을 가진 데이터를 같은 그룹으로 묶는 방법

- 예) 몸무게와 키의 입력값을 기반으로 사람들을 여러 그룹으로 분류하는것. 이때, 각 그룹은 비슷한 몸무게와 키를 가진 사람들로 구성된다.
- 대표적인 알고리즘 : ex)k-means, DBSCAN, ...

2. 차원축소 (Dimensionality Reduction)

- 차원축소는 데이터의 특성(차원)을 줄이면서도 데이터의 중요한 정보는 최대한 유지하는 방법

- 주로 시각화,데이터의 압축, 노이즈 제거 등의 목적으로 사용

- 대표적인 알고리즘 : PCA(주성분 분석) ,SVD(특이값 분해) ,...

3. GAN(Generative Adversarial Network)

- GAN은 두개의 신경망, 생성자(Generator)와 판별자(Discriminator)를 사용하여 데이터를 생성하는 모델

- 생성자는 실제 데이터와 유사한 가짜 데이터를 생성하고, 판별자는 생성된 데이터가 진짜인지 가짜인지 판별한다.

- 이 두 신경망이 서로 경쟁하면서 학습을 진행하게 되는데, 학습이 진행될수록 생성자는 더욱 정교한 가짜 데이터를 생성하게 된다.

자기지도 학습

: lable(정답)이 없는 대량의 데이터를 활용하여 모델을 학습시키는 방식

: 이 방식은 데이터 내부의 정보를 사용하여 '보조문제 (pretext task)'를 정의하고, 이 보조 문제를 통해 모델을 사전학습(pre-training)한다.

: 이후 사전학습된 모델을 실제문제(downstream task)에 적용하기 위해 전이학습(transfer learning)을 수행한다.

자기주도학습 주요기법

1. Context Prediciton :

이 방법은 데이터의 일부를 가리거나 제거하고, 모델에게 그 가려진 부분을 예측하게 한다
예) BERT 모델에서 텍스트 일부 단어를 가리고, 가려진 단어를 예측하는 방법

2. Contrastive Learning :

이 방법은 데이터의 다양한 변형 버전을 생성하고, 이러한 변형들이 원래 데이터와 얼마나 유사한지 판결한다.
주요 아이디어는 유사한 데이터 포인터는 가까이 있어야하고, 다른 데이터 포인트는 멀리 떨어져있어야한다.
예) SimCLR, Moco와 같은 알고리즘

자기지도 학습과정

1. Pretext Task 학습(Pre-training)

- 먼저, 보조문제(pretext task)를 통해 모델을 학습시킨다. 이 단계에서 레이블이 필요하지않는다.

2. DownStream Task 학습(Trnasfer Learning)

- 사전 학습된 모델을 실제 문제(downstream task)에 적용하기 위해 전이학습을 수행한다. 이 단계에서는 일반적으로 레이블이 있는 작은 데이터셋을 활용한다.

강화학습

: 기계학습의 한 분야로, 에이전트(agent)가 환경(environment)과 상호작용하여 보상(reward)를 최대화하는 방향으로 학습하는 방향론이다.

강화학습 과정
1. 초기화 :
에이전트와 환겨을 초기화 상태로 설정 -> 에이전트의 학습파라미터(ex: 가치함수,정책)을 초기화한다.
2. 상호작용:
에이전트는 현재 상태를 기반으로 행동을 선택한다. 이 행동 선택은 탐험(exploration)과 활용(exploitation)의 균형을 유지하면서 이루어진다.
선택된 행동을 환경에 적용한다.
3. 보상 및 다음상태(Observation):
환경은 에이전트의 행동에 반응하여 보상과 다음상태를 제공한다
4. 학습(Learning):
에이전트는 받은 보상과 다음 상태를 사용하여 학습알고리즘(예: Q-learning,SARSA,Acotr-Critic등)을 적용하여 자신의 정책 또는 가치함수를 업데이트한다.
5. 반복(Iteration):
에이전트는 종료조건(ex: 최대 에피소드 수, 학습의 수렵 등) 이 반복될때까지 상호작용과 학습과정을 반복한다.
평가(Evaluation):
주기적으로 또는 학습이 종료된 후에 에이전트의 성능을 평가한다. 이를 통해 학습의 진행상황을 모니터링하고 필요한 경우 학습 파라미터를 조정한다.

- 예를 들어 강화학습를 체스에 비유하자면,,,

1. 에이전트(Agent) : 체스 플레이어

2. 환경(Environment) : 체스판과 상대방 플레이어이다. 플레이의 움직에 반응하여 게임의 상태를 변경하고, 결과를 제공한다.

3. 행동(Action): 플레이어가 선택할 수 있는 모든 가능한 체스를 움직인다. 예를 들어, 폰을 한 칸 전진시키거나, 나이트를 L자 형태로 움직이는 것

4. 상태(state): 체스판의 현재 배치이다. 모든 체스 말의 위치와 그들의 상태(ex: 왕이 체크 상태인지 아닌지)를 포함한다.

5. 보상(Reward): 플레이어의 움직임에 따른 결과로, 게임에서 얻는 점수나 피드백이다. 예를 들어, 상대방의 말을 잡았을 때의 점수나, 게임에서 승리했을 때의 큰 보상, 또는 체크메이트를 당했을때 얻는 패널티 등이 잇다.

6. 에피소드: 초기 상태에서 시작하여 종료 상태의 도달할때까지 상태, 행동 ,보상의 연속된 시퀀스

*시퀀스란 ? : 일련의 요소들을 순서대로 갖는 데이터 구조 ex)리스트, 튜플, 문자열등..

2023.10.13 - [프로그래밍언어/파이썬] - 파이썬- 시퀀스란?

파이썬- 시퀀스란?

시퀀스: 일련의 요소들을 순서대로 갖는 데이터 구조를 의미. 시퀀스는 여러 항목들을 정렬된 순서로 저장하며, 각 항목은 고유한 인덱스를 통해 접근 할 수 있다. 시퀀스 타입 1. 리스트(list) :

xcwaonvy.tistory.com

7. 정책 (policy): 플레이어의 전략이다. 주어진 체스판의 상태에서 어떤 움직임을 선택할지 결정하는 규칙또는 방법론을 의미한다.

- 체스 게임에서 강화학습 과정

플레이어(에이전트)는 체스판의 현재 상태를 기반으로 움직임(행동)을 선택한다.
환경(체스판과 상대방)은 움직이에 반응하여 게임의 상태를 변경하고, 그 결과(보상또는 패널티)를 플레이어에 제공한다
플레이어는 이러한 경험을 통해 자신의 전략(정책)을 변경하고 개선하려고한다.
이과정은 여러게임(에피소드)동안 반복되며, 플레이어는 각 게임에서의 경험을 통해 더 나은 전략을 학습하게 된다.

옵티마 (최단패스)찾기 :

옵티마 또는 최단 경로 문제는 그래프에서 두 노드 사이의 가장짧은 경로를 찾는 문제이다. 이 문제는 다양한 알고리즘으로 해결할 수 있다.

Discount Factor :

강화학습에서의 "dicount facor"는 미래의 보상을 현재의 가치로 환산하는데 사용되는 계수이다. 보통 0과 1사이의 값으로 설정되며, 이값이 1에 가까울 수록 미래의 대한 보상을 중요하게 여기고, 0에 가까울수록 현재의 보상을 더 중요하게 여긴다.