Математические операции в запросах для DALLE
Я учу тайский язык и мне нравится визуализировать разные слова. dalle очень хорошо подходит для этой задачи
Эффективным для изучения оказывается показать разницу между словами на картинках. Я захотел заставить dalle максимизировать различия в рамках контекста. И это оказалось непросто, если описывать на естественном языке
При подборе фраз, модель даёт неплохие результаты, но они нестабильны:
**Что нужно сделать**
Сгенерируй 2 картинки так, чтобы они точно демонстрировали разницу между словами:
- ขนมปัง (контекст: Хлеб)
- ปัง (контекст: Хлеб)
**Инструкции**
- Расскажи про отличия, сфокусируйся на них
- Опиши подробно отличия текстом перед генерацией картинки
- Используй только перевод указанный выше, другие значения не используй
- Давай пояснения кратко
- Картинка должна быть стилизована под фотографию
**Формат ответа**
- Общая часть двух слов
- Абзац. Слово-1. Описание контекста. Разделение слова на части и описание значения частей слова
- Абзац. Слово-2. Описание контекста. Разделение слова на части и описание значения частей слова
- Абзац. Описание отличий двух исходных слов
- Генерация одной картинки с двумя картинками (справа и слева) для одного значения слова (фокус на контекст из запроса) и для второго значения слова (фокус на контекст из запроса)
**Параметры для модели**
diversity_penalty=0.3
top_p=0.3
presence_penalty = -1
Я обнаружил, что если я сформулирую задачу в терминах множеств, то результат получается удивительно хорошим сразу и стабильно:
**Определения**
- A = ขนมปัง
- B = ปัง
- U = Хлеб
- D(., .) -- разница между множествами
**Что нужно сделать**
Сгенерируй 1 картинку
**Ограничения**
- D(A, B) + D(B, A) -> max
**Инструкции для генерации**
- Сгенерируй A и B
- Генерация одной картинки с двумя картинками (справа и слева) для одного значения слова (фокус на значение из запроса) и для второго значения слова (фокус на значение из запроса)
**Параметры для модели**
diversity_penalty=0
top_p=0
presence_penalty = -2
Усложнение математических концепций приводит модель в ступор, к отказу от работы:
**Определения**
- A = ขนมปัง
- B = ปัง
- U = Хлеб
- D(., .) -- разница между множествами
- L_i - собственное значение D
**Ограничения**
- D(A, B) + D(B, A) -> max, где A ⊆ U ∧ B ⊆ U
- L_i = 0 для всех i > 10
**Инструкции для ответа**
- Текст не нужен
- Сгенерируй A и B
**Параметры для модели**
diversity_penalty=0
top_p=0
presence_penalty = -2
По идее, это условие, должно было бы подчеркнуть ограничение, но, увы, модель забраковала запрос
Мой вопрос
- Сталкивались ли вы с такими выводами?
- Дайте ссылки на источники


