단백질 분석과 데이터 사이언스

❇️ 목적1. 웹 기반 API로 제공되는 데이터를 가져와 데이터프레임으로 변환 하는 방법을 배우기2. JSON, XML의 데이터 구조 이해 → dataframe으로 변환 하기 ✅ API 란? ✅ 파이썬에서 JSON 데이터 다루기 # JSON 형식d = {"name": "혼자 공부하는 데이터 분석"} # json 파일은 키와 값을 모두 "" 로 감싼다.print(d['name'])혼자 공부하는 데이터 분석 ▶️ 파이썬 객체를 JSON 문자열로 변환하기json.dumps(): 파이썬 객체를 JSON 문자열로 변환JSON (JavaScript Object Notation) 포맷은 파이썬 딕셔너리와 호환이 잘 됨.웹 기반 API로 데이터를 전달 할 때는 파이썬 딕셔너리가 아닌 텍스트로 전달해야 함.ens..

❇️ 목적1. 데이터 분석으로 비즈니스 문제를 어떻게 해결하는지 알아보기 위해 가상의 예를 이용합니다.2. 코랩에서 판다스 데이터프레임으로 CSV 파일을 읽고 쓰는 방법에 대해 배웁니다. ✅ $ gdown.downloadgdown 패키지는 구글 드라이브를 포함하여 웹에서 대용량 파일을 다운로드 할 수 있음.# 구글 드라이브에서 다운로드import gdowngdown.download('https://bit.ly/3eecMKZ', '남산도서관 장서 대출목록 (2021년 04월).csv', quiet = False)Downloading...From: https://bit.ly/3eecMKZTo: /content/남산도서관 장서 대출목록 (2021년 04월).csv100%|██████████| 58.1M/58...

● Chpater 09의 학습목표텍스트와 시계열 데이터 같은 순차 데이터에 잘 맞는 순환 신경망의 개념과 구성 요소에 대해 배웁니다.케라스 API로 기본적인 순환 신경망에서 고급 순환 신경망을 만들어 영화 감성평을 분류하는 작업에 적용해 봅니다.순환 신경망에서 발생하는 문제점과 이를 극복하기 위한 해결책을 살펴봅니다.● 학습목표: 순환 신경망에서의 핵심 기술인 LSTM과 GRU 셀을 사용한 모델을 만들어 봅니다. ● 키워드: LSTM, 셀 상태, GRU ● 지난 시간 - 순차 데이터와 순환 신경망의 구현 LSTM의 구조 및 설명# IMDB 데이터 가져오기# 500 가지 숫자로from tensorflow.keras.datasets import imdbfrom sklearn.model_selection i..

● Chpater 09의 학습목표텍스트와 시계열 데이터 같은 순차 데이터에 잘 맞는 순환 신경망의 개념과 구성 요소에 대해 배웁니다.케라스 API로 기본적인 순환 신경망에서 고급 순환 신경망을 만들어 영화 감성평을 분류하는 작업에 적용해 봅니다.순환 신경망에서 발생하는 문제점과 이를 극복하기 위한 해결책을 살펴봅니다.● 학습목표: 텐서플로우를 사용해 순환 신경신경망을 만들어 영화 리뷰 데이터셋에 적용해서 리뷰를 긍정과 부정으로 분류합니다. ● 키워드: 말뭉치, 토큰, 원-핫 인코딩, 단어 임베딩 ● 지난 시간 - 순차 데이터와 순환 신경망의 구조 및 작동 원리 이해 자연어 처리에 등장하는 개념말뭉치 (Corpus)자연어 처리 분야에서 훈련 데이터 (텍스트 데이터의 모음)를 종종 말뭉치라고 함. 예를 들..

● Chpater 09의 학습목표텍스트와 시계열 데이터 같은 순차 데이터에 잘 맞는 순환 신경망의 개념과 구성 요소에 대해 배웁니다.케라스 API로 기본적인 순환 신경망에서 고급 순환 신경망을 만들어 영화 감성평을 분류하는 작업에 적용해 봅니다.순환 신경망에서 발생하는 문제점과 이를 극복하기 위한 해결책을 살펴봅니다.● 학습목표: 순차 데이터의 특징을 알고 순환 신경망의 개념을 학습합니다. ● 키워드: 순차 데이터, 순환 신경망, 셀, 은닉 상태 ● 지난 시간 - 합성곱 신경망의 특성맵과 가중치 시각화 순차 데이터순차 데이터 (Sequential data)는 텍스트나 시계열 데이터 (time series data)와 같이 순서에 의미가 있는 데이터를 말합니다. 또한, 시계열 데이터는 일정한 시간 ..

● Chpater 08의 학습목표 1. 이미지 분류 문제에 뛰어난 성능을 발휘하는 합성곱 신경망의 개념과 구성 요소에 대해 배웁니다. 2. 케라스 API로 합성곱 신경망을 만들어 패션 MNIST 데이터에서 성능을 평가해 봅니다. 3. 합성곱 층의 필터와 활성화 출력을 시각화하여 합성곱 신경망이 학습한 내용을 고찰해봅니다. ● 학습목표: 합성곱 층의 가중치와 특성 맵을 시각화 하여 신경망이 이미지에서 어떤 것을 학습 하는지 이해해 봅니다. ● 키워드: 가중치 시각화, 특성맵 시각화, 함수형 API ● 지난 시간 - 합성곱 신경망 구현 CNN층이 학습한 가중치 확인하기기존에 Early stopping 하여 만들어진 모델을 불러오기# Ealy stopping 된 CNN model..

● Chpater 08의 학습목표 1. 이미지 분류 문제에 뛰어난 성능을 발휘하는 합성곱 신경망의 개념과 구성 요소에 대해 배웁니다. 2. 케라스 API로 합성곱 신경망을 만들어 패션 MNIST 데이터에서 성능을 평가해 봅니다. 3. 합성곱 층의 필터와 활성화 출력을 시각화하여 합성곱 신경망이 학습한 내용을 고찰해봅니다. ● 학습목표: 케라스 API를 사용해 합성곱 신경망 모델을 만들어 패션 MNIST 이미지를 분류하는 방법을 배웁니다. ● 키워드: 합성곱, 필터, 특성 맵, 패딩, 스트라이드, 풀링 ● 지난 시간 - 합성곱 신경망 구조 학습Input layer: Same padding을 적용하기 때문에, 입력 데이터에는 1 pixel이 주변에 추가 되어 차원이 유지 되어 모..

반응표면 설계 (RSM): 하나 또는 그 이상의 반응 (출력) 변수에 영향을 주는 인자 (Y1, Y2) 와 인자 (입력변수, X1 ... Xn) 간의 관계를 규명하는 실험 설계목적: 반응을 최적화 or 목표치에 도달 할 수 있는 인자의 조건을 찾는 것라고 하지만, 사실 완전 요인설계도 위와 마찬가지이다. 다만, 완전 요인 설계와 다른 것은 직선 관계가 아니라 곡선 관계를 나타낼수 있다는것에 있다. 반응표면설계의 필요성필요성: 실제 시스템은 곡선성을 가지는데, 완전요인 설계를 통해 최적화 하면,설명력 (R2) 은 높을수 있지만, ( 현재 데이터에 대한 설명은 잘 할수 있지만)예측력 (R2 press) 은 부정확할수 있다. (다른 데이터에 대한 예측력, 즉, 일반화를 시키지 못해 최적 조건을 놓칠수 있다...

부분요인 설계는 완전 요인 설계를 부분만 진행하는 실험 설계이다. 완전 요인 설계는 공정변수와 목적 변수간의 관계를 characterization 하는것이라면, 부분요인 설계의 목적은 적은 수의 실험 (절반) 으로 핵심인자를 선정하는 것이다. 하지만, 완전요인 설계의 실험중에 아무 실험이나 골라서 하면, 핵심인자를 선정하기 어려울것이다. 그 조합을 잘 골라야 할것이다. 이 말은 균형과 직교의 원리가 적용되게 실험을 해야한다는 의미이다.아래 그림을 보면 부분 요인 설계의 구조는 매우 안정적이다. (위에서 정사영을 하면, 사각형 안으로 들어온다.) StdOrdABC->StdOrdABC1-1-1-121-1-121-1-13-11-13-11-15-1-11411-181115-1-11 61-11 7-11..

정제 하고자하는 대상 물질의 charge와 resin의 반대 charge를 이용하여 정제 하는 기법이다. 대상 물질이 음전하 (Anion)이면 Anion exchange chromatography, 양전하 (Cation)이면, Cation exchange chromatography이다. 단백질 정제 공정 중, 적어도 1개 이상에는 들어가는 칼럼이다. IEX의 selectivity parameter정제 공정에는 Bead의 size를 조절하는 efficiency가 있지만, 더 중요한것은 pH, 유속 등등 정제에 관련된 중요 parameter들을 조절하는 것은 selectivity라고 했다. IEX의 selectivty에 영향을 미칠수 있는것은 다음과 같다. 1. 단백질의 Pi 값과 Buffer의 pH 아래는..