OpenAI version upgrade (latest version) #56
Conversation
|
概要 |
configs/README.md
Outdated
| @@ -9,17 +9,20 @@ | |||
| from typing import Optional, Union | |||
|
|
|||
| import openai | |||
| from openai import AzureOpenAI | |||
There was a problem hiding this comment.
Azure の API だけでなく OpenAI の API でも動く実装にしてください．
There was a problem hiding this comment.
AzureのAPIしか現状使用できないので、検証はできませんが大丈夫でしょうか。
| @@ -26,7 +26,6 @@ | |||
| "generic": 0.1, | |||
| } | |||
|
|
|||
|
|
|||
There was a problem hiding this comment.
品質管理のためにリンターとフォーマッターを入れています．以下のコマンドを実行してください．
$ pre-commit install # 以降，コミット時に自動的にリンターとフォーマッターが走ります
$ pre-commit run -a # 今いるディレクトリ以下の全ファイルにリンターとフォーマッターを適用します
llm_judge/gen_judgment.py
Outdated
| @@ -132,7 +140,7 @@ def make_match_groups_pairwise( | |||
| parser.add_argument( | |||
| "--judge-model", | |||
| type=str, | |||
| default="gpt-4", | |||
| default="gpt-4-0613", | |||
There was a problem hiding this comment.
judge-model のデフォルト値は gpt-4 のままにしておいてください．これは複数回の評価をサポートするための PR なので，それと関係ない変更はしないでください．
There was a problem hiding this comment.
すみません、こちらについては自分の環境のままpushしてしまいました。修正しておきました。
llm_judge/gen_judgment.py
Outdated
| @@ -63,6 +65,8 @@ def make_match_groups_single( | |||
| ref_answer=ref_answer, | |||
| ) | |||
| ) | |||
| if num_answers_per_question: | |||
| matches = matches[:num_answers_per_question] | |||
There was a problem hiding this comment.
実装が間違っています．各質問について num_answers_per_question 件の回答を抽出してください．
llm_judge/gen_judgment.py
Outdated
| @@ -111,6 +117,8 @@ def make_match_groups_pairwise( | |||
| ref_answer=ref_answer, | |||
| ) | |||
| ) | |||
| if num_answers_per_question: | |||
| matches = matches[:num_answers_per_question] | |||
There was a problem hiding this comment.
実装が間違っています．各質問について num_answers_per_question 件の回答を抽出してください．
Sh1gechan
force-pushed
the
add/num_answers_per_question
branch
from
38c2715
to
01e6043
Compare
pyproject.tomlにおけるopenaiのバージョンの変更を行いました。最新版にしてあります。