AI 연구실
머신러닝 (Machine Learning)
선형 회귀
로지스틱 회귀
의사결정 나무
K-Means
KNN
SVM
딥러닝 (Deep Learning)
XOR 학습 데모
Fitting 실험
CNN
CNN 필터 테스트
미니 LLM
강화학습 (Reinforcement Learning)
Grid World
N-Slot 실험
효율화 (Optimization)
Sparse Matrix
Pruning 시뮬레이터
Quantization 시뮬레이터
Tiny LLM (브라우저 학습)
Share
Export
이 페이지는
브라우저만
으로 간단한 언어모델을 학습합니다. 텍스트를 공백 기준 단어로 토큰화하여
임베딩 + 선형(Softmax)
모델을
SGD
로 학습합니다. 큰 말뭉치를 넣으면 느려질 수 있어요.
1) 학습 데이터
2) 하이퍼파라미터
임베딩 사이즈
블록(컨텍스트) 길이
에폭
학습률(learning rate)
임베딩 가중치도 학습하기 (해제하면 고정 임베딩)
Loss 그래프 그리기 (에폭 단위)
3) 학습
학습 시작
0%
Loss 그래프
4) 텍스트 생성
프롬프트
생성 토큰 수
온도(Temperature)
Greedy
Sampling
Top-k
Generate