본문 바로가기

전체 글25

알쓸코드 - 데이터 분석 데이터 분석에 사용하는 패키지, 함수들 계속 추가예정 OS 관련 os.listdir 디렉토리 리스트 가져오기 # 폴더 경로가 있는지 확인 후, 없으면 생성 if f'{dir_name}' in os.listdir(f'{base_path}'): print('{dir_name} 폴더가 이미 존재합니다.') else: os.mkdir(f'{base_path}/{dir_name}') # 파일 명의 일부를 사용하여 파일 경로 불러오기 dir_path = f'{base_path}/{dir_name}' # file_name에 해당하는 파일이 한 개 있을 때 file_path = [x for x in os.listdir(f'{dir_path}') if file_name in x][0] # file_name에 해당하는 파.. 2023. 11. 4.
2.3 Hyperparameter Tuning, Batch Normalization Hyperparameter Tuning 신경망을 변경하려면 다양한 hyperparameter를 설정해야 한다. 최적의 hyperparameter 세팅 방법은 무엇일까? \(\alpha\), \(\beta\), \(\beta_1\), \(\beta_2\), \(\epsilon\), #layers, #hidden units, learning rate decay, mini-batch size 등 신경써야하는 다양한 hyperparameter가 있다. hyperparameter 검색하는 핵심은 적합한 scale에서 random sampling으로하는 것이다. Learning rate \(\alpha\), Exponentially weighted averages \(\beta\)의 경우 linear scale이 .. 2023. 3. 27.
2.2 Optimization Algorithms 모델의 속도를 높일 수 있는 최적화 알고리즘(Optimization Algorithms)을 알아보자. 1. Mini-Batch 지금까지 우리는 전체 데이터 X (\(n_x \times m\))에 대해 gradient를 계산하는 Batch gradient descent 방법을 사용했다. Batch gradient descent는 m이 커질수록 gradient를 계산이 느려지는 문제가 있다. 전체 데이터를 mini-batch로 나눈뒤 gradient를 계산하는 Mini-Batch gradient descent 를 사용하여 gradient 계산 속도를 높일 수 있다. ex) m=5,000,000인 데이터 셋을 mini-batch size=1,000으로 나누는 경우, \(X^{\{1\}}, X^{\{2\}}, .. 2023. 3. 14.
2.1 Practical Aspects of Deep Learning 모델을 만들고 테스트해 보면 분산(Variance)과 편향(Bias)에 따라 아래 네가지 결과 중 하나가 나올 것이다. Bias가 높은 문제는, Bigger Network(hidden layer 또는 node가 많은)를 사용하거나 더 길게 Train하여 해결할 수 있다. Variance가 높은 문제는, 더 많은 Train Data를 사용하거나 모델을 정규화(Regularization)하여 해결할 수 있다. 적절한 Neural Networks Architecture를 사용하여 위 두 문제를 해결할 수도 있다. Neural Network를 Regularization하는 방법을 알아보자. 1. Logistic regression Cost function을 L1 regularization, L2 regulari.. 2023. 2. 28.

티스토리툴바