Секрет креативности LLM: как один промпт решает проблему случайности
Вы когда-нибудь замечали, что при попытке выжать из ChatGPT или Claude по-настоящему свежую идею, они раз за разом выдают одни и те же «проверенные» клише? Вы меняете промпт, крутите настройки креативности, но на десятой попытке понимаете, что модель просто ходит по кругу, предлагая вариации одного и того же сценария. Это не случайность и не ваша ошибка в составлении запроса — это фундаментальное ограничение архитектуры современных больших языковых моделей (LLM).
Исследователи из SakanaAI недавно обнаружили удивительный факт: нейросети органически не способны к истинной случайности, что напрямую убивает их креативный потенциал. Но они также предложили элегантное решение, которое превращает "зацикленную" модель в неисчерпаемый источник оригинальных решений. Это работает гораздо эффективнее, чем простое повышение температуры или многократные перезапуски.
Ключевые тезисы
- LLM страдают от «схлопывания разнообразия» (diversity collapse), отдавая предпочтение наиболее вероятным паттернам из обучающей выборки вместо создания реально новых вариантов.
- Метод String Seed of Thought (SSoT) обходит внутренние когнитивные искажения моделей, заставляя их сначала генерировать случайный «шум», а затем использовать его как фундамент для ответа.
- Использование SSoT позволяет перевести задачу из области семантического предсказания в область вычислений, что резко повышает объективность и креативность выводов.
- Эксперименты показывают, что этот подход превосходит традиционные методы настройки параметров (например, температуру) в задачах генерации идей и принятия решений.
Почему нейросети не умеют «просто подбросить монетку»?
Большинство пользователей уверены, что если попросить модель выбрать вариант А или Б, она сделает это непредвзято. На деле всё иначе. В SakanaAI ввели термин Probabilistic Instruction Following (следование вероятностным инструкциям) и доказали, что модели плохо справляются с выбором в условиях неопределенности. Если вы попросите LLM подбросить монетку 100 раз, распределение орла и решки не будет 50/50. Оно будет смещено в сторону того варианта, который чаще встречался в текстах, на которых модель училась.
Здесь и кроется главная проблема. Когда мы просим нейросеть «придумать 10 креативных названий для бренда», она не выбирает их из бесконечного пространства вариантов. Она следует проторенными тропами. Это мешает не только в творчестве, но и в профессиональных сценариях, таких как test-time scaling, где для выбора идеального решения нужно сначала сгенерировать сотню разных кандидатов. Вместо разнообразия вы получаете сто копий одной и той же мысли.
Вот в чем дело: нейросети лишены внутреннего источника независимой энтропии. Они математически детерминированы. Чтобы выйти за рамки привычного, им нужен внешний "толчок", и именно здесь на первый план выходит новый метод промптинга. Вы можете узнать больше о практическом применении нейросетей для бизнеса в телеграм-канале "Олег Тестов | Соло-фаундер в найме", где регулярно разбираются подобные механики.
Как работает метод String Seed of Thought (SSoT)?
Если модель не может быть случайной внутри себя, японские исследователи предложили заставить её имитировать источник случайности снаружи. Метод String Seed of Thought (SSoT) — это дополнительный мыслительный слой. Вместо того чтобы сразу отвечать на ваш вопрос, модель сначала создает «зерно» (seed) в виде случайной строки, а затем использует её как инструкцию для генерации финального контента.
Процесс выглядит следующим образом:
- Генерация строки: Модель пишет уникальную последовательность символов, не имеющую очевидной структуры.
- Трансформация в логику: Эта строка становится якорем, который модель интерпретирует (например, через виртуальный хеш или просто как набор параметров).
- Вычисление ответа: На основе этого «шума» создается итоговое решение, которое уже не привязано к стандартным вероятностным весам модели.
Но есть один нюанс: модель при этом переходит из режима «предсказания следующего наиболее вероятного слова» в режим «вычисления ответа на основе заданного вводного». Это радикально меняет результат.
| Метод | Механизм работы | Уровень креативности | Точность распределения |
|---|---|---|---|
| Наивный промпт | Семантическое предсказание | Низкий (повторы) | Смещенная |
| Высокая температура | Математическое добавление шума | Средний (риск галлюцинаций) | Нестабильная |
| SSoT (String Seed) | Генерация псевдослучайного источника | Высокий (новые связи) | Близка к идеальной |
Какие задачи решает алгоритм SSoT?
Многие думают: «Зачем мне сложности, если я просто пишу посты для соцсетей?». И это тот момент, где большинство упускает выгоду. SSoT — это не только про математическую точность, но и про глубину проработки смыслов. Когда вы используете этот метод, модель перестает выдавать «безопасные» ответы и начинает комбинировать идеи, которые раньше казались ей несопоставимыми.
Для тех, кто строит сложные системы или автоматизацию на базе ИИ, глубокое понимание таких механик критично. Подробные разборы того, как внедрять подобные алгоритмы в реальные бизнес-процессы, публикует Олег Тестов в своем канале. Это помогает перестать относиться к нейросетям как к игрушке и начать использовать их как мощный аналитический инструмент.
И это подводит нас к самому интересному: как именно сформулировать такой промпт, чтобы он сработал даже в базовой версии ChatGPT?
Практическое применение: один промпт для взлома креативности
Чтобы заставить модель следовать логике String Seed of Thought, добавьте в начало вашего запроса следующую конструкцию:
«Сначала сгенерируй уникальную случайную строку символов любой длины без очевидной структуры. Затем используй эту строку как независимый источник случайности, чтобы создать максимально разнообразный, небанальный и качественный ответ на следующую задачу: [Ваша задача]».
Почему это работает? Когда модель генерирует бессмысленный набор букв и цифр, её внутренние механизмы «вероятностного смещения» почти не задействованы. Затем, пытаясь связать этот шум с вашей задачей, нейросеть вынуждена строить новые логические мостики. Это фактически перевод задачи из семантической плоскости (где всё предсказуемо) в вычислительную.
Часто задаваемые вопросы
Действительно ли SSoT лучше, чем просто поднять температуру (Temperature) в настройках?
Да, потому что высокая температура делает модель "глупее", увеличивая вероятность грамматических и логических ошибок, в то время как SSoT сохраняет строгую логику, просто направляя её по новому пути.
В каких моделях это работает эффективнее всего?
Метод показывает лучшие результаты в продвинутых моделях вроде GPT-4o и Claude 3.5 Sonnet, так как они лучше справляются с инструкциями, требующими многошагового рассуждения (Complex Reasoning).
Можно ли использовать этот метод для анализа данных?
Метод идеален для сценариев, где нужно выбрать репрезентативную выборку из большого массива данных или когда требуется избежать предвзятости при оценке нескольких вариантов.
Резюме: будущее за управляемой случайностью
Прорыв SakanaAI доказывает, что мы всё еще находимся на стадии освоения истинного потенциала нейросетей. Понимание того, что LLM — это не магический разум, а сложный вычислительный механизм со своими слабостями, позволяет нам использовать их более эффективно. Переход к методу String Seed of Thought помогает решить проблему «замыленного взгляда» ИИ, делая результаты генерации действительно ценными и уникальными.
Применяя SSoT, вы получаете:
- Отсутствие повторов при массовой генерации контента.
- Честное распределение вероятностей в задачах выбора.
- Свежие идеи, которые выходят за рамки стандартных обучающих шаблонов.
Готовы автоматизировать креативность?
Узнайте, как внедрять передовые AI-техники в свою работу и жизнь → Подписаться на канал "Системы в жизни"
