기계학습
- 환경과의 상호작용에 기반한 경험적인 데이터로부터 스스로 성능을 향상시키는 시스템을 연구하는 과학과 기술
기계학습 시스템 모델 (Simon)
(주위환경)->[학습요소]->(지식베이스)->[실행요소]->학습요소
- 근본원리
1. 균등의 원리: 차이를 증명할만한 데이터를 관측하기 전에는 가정 등 구별하지 않음
2. 오캄의 원리: 주어진 데이터를 설명하는 모델이 여러 개 있다면 그 중에서 단순한 모델을 우선 선택
3. 양보의 원리: 학습 알고리즘의 효율과 성은(손해)은 서로 양보해야 하는 관계
- 특징
1. 경험에 의한 지식의 증가
2. 새로운 상황의 문제 해결
3. 귀납적 방법 중심
- 구성
[샘플데이터]->(학습 알고리즘)->예측 모델+실 데이터
- 분류 (학습데이터 유형에 따른)
1. 지도학습: 입출력의 쌍으로 구성된 학습예제들로부터 입력을 출력으로 사상하는 함수를 학습하는 과정.
회귀: (x,y)들의 데이터를 가지고 모 함수 y=f(x)를 에측하는 방법
분류: 각 그룹별 특징을 학습하여 새로운 데이터가 어디에 속해야 하는지 판단하는 방법
알고리즘: MLP, KNN, SVM, Decision Tree, AdaBoost
활용: 패턴인식, 질병진단, 문서여과, 추가예측 등 분류와 회귀 분석 문제 해결에 적합
2. 비지도학습: 입력은 주어지나 대응되는 출력이 없고, 입력패턴들에 공통적인 특성을 파악하는 것이 학습목표
귀납적 학습 방법의 가장 일반적인 형태로 모델이 주어지지 않음.
분류: 데이터끼리 군집으로 묶을 수 있는지 판단하는 기법
패턴인식: 데이터 입력값을 특정 기준에 따라 여러 개의 그룹으로 분류, 인식하는 기법
알고리즘: K-Means, ART, SOM, Boltmann Machine, PCA, Deep Neural Network
3. 강화학습: 미리 정답이 주어져 있지 않고 시행마다 잘한 정도를 보상해주는 방법
유형: 시행착오, 보상 함수, 동적 프로그래밍
알고리즘: GP, RNN, HMM, Kalman Filter
활용: 자율 이동 로봇, 온라인 게임, 주식 투자 순차적 의사 결정 과정에 관여
- 알고리즘의 종류
신경망: 생명체의 신경조직에서 착안하여 모델화한 정보처리 시스템. 단순한 소자들의 병렬, 분산 연결구조로 외부의 압력에 대해 동적 반응을 일으킴으로써 필요한 출력 생성
데이터마이닝: 데이터로부터 새롭고 의미있는 정보를 추출하여 의사결정에 활용하는 작업
의사결정트리: 일련의 속성을 가진 객체나 상황을 입력으로 하여 흥미있는 아이템을 분류하거나 평가하기 위한 절차를 그래픽으로 표현.
유전자알고리즘: 생물의 유전과 진화의 메카니즘을 공학적으로 모델화한 시스템. 자연도태의 원리를 기초로 한 최적화 방법
사례기반추론: 유사한 과거 문제의 해결에 기초해서 새로운 문제를 해결하는 과정
패턴인식: 데이터로부터 중요한 특징이나 속성을 추출하여 입력데이터를 식별할 수 있는 부류로 분류
- 응용분야
인터넷 정보검색, 컴퓨터 시작, 음성 인식/언어 처리, 모바일 HCI, 생물정보학, 바이오 매트릭스, 컴퓨터 그래픽, 로보틱스, 서비스업, 제조업 등
- 알고리즘 선택시 주의사항
알고리즘의 견고성, 단순성, 확장성
불확실성
- 의사 결정을 하기 위해 필요한 정보가 부족하여 실제 상황에서 인간의 지식은 참이나 거짓으로 확정하기 어려움. 대부분의 인공지능은 이러한 불확실한 정보나 지식을 이용하여 여러가지 방법을 제시하고 있음.
확률론, 확신인자, 퍼지논리, 인공신경망, 유전자 알고리즘 등
- 원인
(데이터의 불확실성, 지식의 불확실성, 정보의 불확실성, 확률적 불확실성) -> 원인-> [병렬 확신 추론 기법, 불확실성 조직 기법]
확률
- 특정 사건이 일어날 기회의 정도. 불확실성을 관리하기 위한 정량적인 방법으로 파스칼,퍼머트에 제안.
- 조건부 확률: 두 개의 사상 A,B에 대하여 사상 B가 일어난다는 조건 하에 사상 A가 일어날 확률
베이즈 정리
- 사건B 하에서 사건A가 일어날 확률. 즉 사건B에만 포커스를 맞추었을 때, 사건A,사건B의 동시사건의 사건B에 대한 상대적 크기
베이지안 네트워크
- 특정 분야의 영역 지식을 확률적으로 표현하는 대표적인 수단.
- 데이지안 네트워크 기반 추론
인과추론(유도, 예측) : A에 의해 B가 발생한다고 할 때 A의 값을 알면 B의 확률을 계산 할 수 있음
분석 추론(귀납) : A에 의해 B가 발생한다면 B의 값을 알면 A의 확률을 계산 가능
상호 인과 추론(해명) : A와 B 모두 C의 원인이 된다고 가정하면 C를 알면 A의 확률 변화가 B의 확률에 미치는 영향 계산 가능
베지니안 최적화
머신러닝의 성능 향상을 위해, 대체 모델과 획득함수를 활용하고 불필요한 하이퍼 파라미터의 반복 탐색을 최소화한 하이퍼파라미터 탐색 기법. 그리드서치와 랜덤서치에 비해 효과적 탐색가능. 사전정보를 바탕으로 최적값 탐색에 반영, 입력값 후보추천
'알려지지 않은 목적 함수를 최대(혹은 최소)로 하는 최적해를 탐색'
전문가 시스템
- 충분히 복잡한 문제 영역에 대해 전문가의 전문지식을 사용하여 추론하여 전문가와 동등한 수준에서 문제를 해결할 수 있는 지적인 소프트웨어. 지식기반 시스템으로 설명기관을 갖추고 사용자 인터페이스가 좋아야하며 사용성이 있어야 역할 수행 가능
- 특징
지식베이스와 추론 엔진 분리, 설명기능(추론과정을 보여줄 수 있음), 부족한 정보나 지식 사용 가능, 휴리스틱 (데이터 보다 지식을 주로 사용)
- 구성요소
지식베이스, 추론엔진, 지식습득 모듈, 해설설비, 사용자 인터페이스
- 주요 구성원
주제 전문가, 지식 공학자, 프로그래머, 프로젝트 관리자, 최종사용자
- 추론엔진
지식 베이스를 이용하여 문제를 해결하기 위해 지식을 제어/추론하기 위한 규칙 적용을 결정하는 규칙 해석기와 규칙들이 적용되는 순서를 결정하는 스케쥴러로 구성.
전향추론
후향추론
- 전문가 시스템의 개발 절차
[문제정의] -> [개념화] -> [정형화] -> [구현] -> [검증]
-전문가 시스템의 종류
진단시스템, 계획시스템, 배치시스템, 의사결정시스템, 감시시스템, 설계시스템, 교수시스템, 충고 등
인공신경망
- 인간의 뇌신경 세포와 그 결합 구조를 모방하여 만든 전자 회로망으로 인간의 두뇌와 신경시스템을 닮은 정보처리소자.
뉴런 (기능적 최소단위로 기본적인 정보처리단위), 세포체(일정기간내 자극이 가중되고 임계치를 넘으면 뉴런활성),
수상돌기(인접 뉴런으로부터 정보을 받는 통로), 축색돌기(정보를 전달하는 통로), 시넵스(신호크기조절)
- 특징
학습, 분류, 병렬처리, 견고함, 분산메모리, 적응, 단순한 구조
- 인공 뉴런 구조
- 인공신경망 모델링
- 인공신경망 학습과정
1. 입력값을 이용하여 인공 뉴런의 출력값을 계산
2. 인공 뉴런이 계산한 출력값과 사용자가 기대하는 출력값을 비교
3. 기대하는 출력값을 생성할 수 있도록 가중치 조절
- 인공신경망의 장단점
장점: 고장허용성(전체 인공신경망에 영향을 미치지 않음), 일반화(불완전한 입력정보로도 적정한 결과 생성), 적응성(새로운 환경에서 학습수행가능)
단점: 약한 설명 기능 수준, 학습에 많은 데이터와 시간 필요, 병렬처리가 가능한 하드웨어 비용
-인공신경망 학습 규칙
Hebb: 어떤 신경세포들의 활성이 다른 신경세포가 활성 하는데 계속적으로 공헌한다면, 두 신경세포간의 연결가중치 증가
Delta: 어떤 신경세포의 활성이 다른 신경세포가 잘못된 출력을 내는데 공헌한다면 두 신경세포간의 연결가중치를 그것에 비례하여 조절
일반화된 Delta: Delta 과정은 그 아래에 있는 신경세포들까지 계속 진행
딥러닝
- 높은 분류 정확도에 비해 속도가 느린 기존의 인공신경망의 한계를 극복하기 위해 제안된 방법으로 심화 신경망을 활용한 기계학습. 여러 비선형 변환 기법의 조합을 통해 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업을 시도하는 기계학습 알고리즘 집합
- 딥러닝 알고리즘 특징
비지도 학습 기반의 Pre-Traning
CNN 진화 Convolutional
RNN 진화 Recurrent
GPU 병렬컴퓨팅
학습방법의 진보
-딥러닝 알고리즘의 종류
감독/무감독, 변별/생성모델, 예측/모듈이해, 추론가능성, 연결성, 깊이, 배치/온라인 학습
유전자 알고리즘
- 문제에 대한 가능한 해를 정해진 자료구조로 표현하고 이를 변형하여 최적화 해를 구하는 진화형 탐색 알고리즘
-유전자 알고리즘의 처리 사이클
-유전자 알고리즘의 연산자
재생산, 교배, 돌연변이
-유전자 알고리즘의 수행 절차
1. 유전자형의 결정
2. 초기 유전자 집단의 결정
3. 각 개체의 적응도 평가
4. 선택
5. 교배처리
6. 돌연변이 처리
7. 반복
-유전자 알고리즘 활용
최적화, 설계, 인공지능, 시스템분석/예측, 제어 및 로보틱스