dodawanie parametrów do funkcji walidującej?

[gileneusz]

czy się da?

np.

przy wywołaniu runnera:

validating_runner.schedule(model=model, messages=messages, max_tokens=100, request_timeout=60)

dodaję dodatkowy parametr walidujący, a potem go wywołuje:

def validate_response(response, parametr):
    print("parametr z walidacji: ")
    print(parametr)

    return True #true/false

[tpietruszka]

Chodzi o dostęp do argumentów przekazanych do schedule tego wywołania (model, messages, max_tokens albo request_timeout), czy jakiś inny scenariusz?

[gileneusz]

hmm, chodzi mi o przesłanie dodatkowych danych z których będę mógł korzystać razem z results. np. jak w tym przykładzie innego pluginu (https://github.com/cozodb/openai-multi-client)

def make_requests():
    for num in range(1, 10):
        api.request(data={
            "messages": [{
                "role": "user",
                "content": f"Can you tell me what is {num} * {num}?"
            }]
        }, metadata={'num': num})


api.run_request_function(make_requests)

wysyłam więc metadata, z której potem mogę skorzystać, np. przy wypisywaniu wyników, zapisywaniu rezultatów wywołania do API etc.

no i do funkcji walidującej też by się przydało móc wysłać parametr. Sorry że piszę chaotycznie, ale rozkminiam ;)

[gileneusz]

AI wygenerowało mi taki workaround:

import openai
import json
from rate_limited.runner import Runner
from rate_limited.apis.openai import chat

openai.api_key = "API_KEY"
model = "gpt-3.5-turbo"

# describe your rate limits - values based on https://platform.openai.com/account/rate-limits
resources = chat.openai_chat_resources(
    requests_per_minute=3_500,
    tokens_per_minute=90_000,
    model_max_len=4096,  # property of the model version in use - max sequence length
)
runner = Runner(openai.ChatCompletion.create, resources)

# Załadowanie JSON z ID i tematami
json_data = '{"3": "honey badgers", "2": "llamas", "1": "pandas"}'
id_to_topic = json.loads(json_data)

# Schedule requests
for topic_id, topic in id_to_topic.items():
    messages = [{"role": "user", "content": f"Please write a poem about {topic}"}]
    runner.schedule(model=model, messages=messages, max_tokens=256, request_timeout=60)

# Run and get results
results, exceptions = runner.run()

# Process results
for i, result in enumerate(results):
    topic_id = list(id_to_topic.keys())[i]
    print(f"ID: {topic_id}, Topic: {id_to_topic[topic_id]}")
    print(result['choices'][0]['message']['content'])
    print()