Создание локально развернутого чата

Подскажите, пожалуйста, какие-нибудь варианты, ссылки на информацию и т.п.

Для начала гуглим "ChatGPT API". А дальше - по квалификации/возможностям

Если вы не можете в фронт, могу предложить вам два варианта:

1. Использовать GPT4All. Готовый фронт может открыть файл модели для LLaMA с расширением .gguf

2. Использовать REPL, реализацию можно посмотреть по ссылке. Модуль для создания собственного read-eval-print-loop есть в стандартной библиотеке NodeJS, у gpt4all есть модуль в npm

import repl from "repl";

import { execute } from './src/ai.mjs';

async function run(uInput, context, filename, callback) {
    console.log('Generating answer, please wait (fan goes hisssssss)');
    console.time('Timing');
    const result = await execute(uInput);
    console.timeEnd('Timing');
    callback(null, result);
}
  
repl.start({ prompt: "chatgpt-repl => ", eval: run });