OpenAI prezanton Batch API me zbritje deri në 50% për detyrat asinkrone

OpenAI prezanton një API të re Batch që ofron zbritje deri në 50 për qind për detyrat asinkrone të API si përmbledhja, përkthimi dhe klasifikimi i imazheve.

Me Batch API, mund të merrni rezultate për një numër të madh kërkesash API brenda 24 orëve.

Kjo kërkon ngarkimin e një skedari JSONL që përmban kërkesat në formatin e grupit. Aktualisht, mbështetet vetëm pika përfundimtare /v1/chat/completions. Përveç skedarit të kërkesës dhe pikës përfundimtare, duhet të specifikoni gjithashtu një dritare 24-orëshe për përpunim.

Opsionale, meta të dhënat e personalizuara mund të shtohen në grup. API-ja e re e grupit redukton kostot dhe siguron kufij më të lartë për detyrat asinkrone. OpenAI pret që kjo të mundësojë përdorim më efikas të API-ve të tij për aplikacionet që kërkojnë një numër të madh kërkesash.