Как ускорить ответы от API CHATGPT в телеграм боте?

Question

Имеется телеграм бот с api openai. Хочется сделать его для широкого круга пользователей, но бывает он одному человеку отвечает более 20 секунд и не смотря на то, что он написан на библиотеке aiogram, пока он не даст ответ, другими функциями бота пользоваться нельзя. как сделать ответ быстрым? Функция ответа представлена следующим образом:

    elif message.from_user.username not in ban_list:
        response = openai.Completion.create(
            model="text-davinci-003",
            prompt=message.text,
            temperature=0.5,
            max_tokens=1024,
            top_p=1.0,
            frequency_penalty=0,
            presence_penalty=0,
        )
        await message.answer(response['choices'][0]['text'])

Answer 1

import openai
from aiogram import Bot, types
from aiogram.dispatcher import Dispatcher
from aiogram.utils import executor

bot = Bot(token="2145840652")
openai.api_key = 'f2yzRnGGH'
dp = Dispatcher(bot)

@dp.message_handler()
async def generate_response(message: types.Message):
        response = await openai.Completion.acreate(
            engine="text-davinci-003",
            prompt=message.text,
            temperature=0.5,
            max_tokens=1024,
            top_p=1.0,
            frequency_penalty=0,
            presence_penalty=0,
        )
        await message.answer(response['choices'][0]['text'])

if __name__ == "__main__":
    executor.start_polling(dp, skip_updates=True)

БЛОГ НА HUSL

Как ускорить ответы от API CHATGPT в телеграм боте?

Ответы (1 шт):