llama3 를 쉽게 사용하기 위한 flask app

preview

모델 (model)

Llama-3-Ko-8B-Instruct 모델을 사용했습니다

해당 모델을 사용하기 위해서 최소 16기가의 vram이 필요합니다.

Let`s Start

.sample.env 파일을 참고하여 .env 파일을 작성합니다.

# 라이브러리 설치
$ pip install -r requirements

# 실행
$ python app.py