Создание Telegram-бота @roleplay_ai_bot на ИИ: в поисках модели без цензуры (Часть 1)

Примерно 4 месяца назад мне пришла в голову идея написать простенького телеграм-бота на базе ИИ. Задать ему определённое поведение, скажем какой-нибудь исторической личности, человека с рафинированными политическими взглядами или просто вымышленного художественного персонажа. Потом добавить этого бота в нашу группу с друзьями — и чтобы он общался с людьми, отвечал им, в общем, генерировал контент и оживлял чат. Сказано — сделано. Правда, эксперимент немного вышел из под контроля, затянулся по срокам и стал значительно обширнее, но об этом поговорим позже…

Сначала начнем с концепта:

Первым шагом стал выбор ИИ модели — сердца всего проекта. И уже здесь возникли серьёзные проблемы. Я сразу отверг вариант дообучения существующих моделей и тем более создания своей LLM с нуля из-за высокой сложности, недостатка знаний и ресурсов. Я сосредоточился на поиске готовых решений, где поведение я задавал бы простым промптом. У меня было несколько критически важных требований:

1. Очевидно, что LLM должна быть достаточно умной, чтобы поддерживать диалог, шутить, понимать контекст и т.д.
2. Модель должна хорошо работать с русским языком
3. В модели должно быть минимальное количество ограничений и цензуры. Мне нужен был бот, который мог бы и оскорбить, и вставить крепкое словечко, и любые политические взгляды обсуждать.

И если с первыми 2 пунктами не возникло больших проблем, то 3 доставил много бадхерта.

Первой пробой, очевидно, оказался солнцеликий ChatGPT. Он так же идеально справлялся с первыми двумя пунктами, как отвратительно — с последним. У ChatGPT, пожалуй, самая жесткая цензура. Любая просьба отыграть персонажа, который мог бы оскорбить, вести себя «неэтично» — гпт сразу отказывается выдавать ответ и понижает твой социальный рейтинг.

Ленивый и безобидный запрос на отыгрыш к ChatGPT

Чуть лучше дела обстояли у Gemini, Llama, Qwen и DeepSeek, но это было, мягко говоря, далеко до идеала.

Далее мой взор пал на так называемые «Uncensored» модели — без встроенных моральных фильтров и отказов в ответах. Крайне советую почитать эту ***СТАТЬЮ *от Эрика Хартфорда по поводу этих моделей. Модель искал на крупнейшем опенсорсном хабе Hugging Face. Мой взор остановился на модели «Dolphin 2.7 Mixtral 8x7b**» от Эрика, и она превзошла все мои ожидания. Пожалуй, я не буду показывать скрины тут, но ищущий всегда найдет.

Но возникла другая фундаментальная проблема. В отличие от мейнстримных LLM, которые практически всегда предоставляют удобное апи, оказывается, что опенсорсные модели нужно разворачивать локально или арендовать сервера😃. При этом API нецензурированных моделей почти никто не продаёт — видимо потенциальные судебные иски портят настроение.

Ладно, не проблема. Есть же супер-удобный ранер Ollama. В два клика скачал модель с Hugging Face, запустил локально и сразу получил нормальное API для работы с LLM. Или все-таки проблема? Дело в том, что локальный хостинг LLM моделей довольно «инклюзивное» и дорогое удовольствие.

Dolphin 2.7 Mixtral 8x7B: Числа в конце значат следующее:

• 8 означает, что вместо одной большой LLM модель состоит из 8 отдельных ‘экспертов’
• а 7B — это примерно 7 миллиардов параметров на каждого эксперта.

Грубо перемножив, получаем 56 млрд параметров (по факту, 47 млрд). Только размер файла модели в полном виде превысит 90 ГБ, плюс потребуется столько 90 GB VRAM для запуска. Только специализированные сервера с несколькими A100 потянут это без оптимизаций. Посмотрите на мой сервер — этот малыш явно не готов к таким испытаниям:

Малыш

Но читатель может возразить, что есть же квантизация? Зачем использовать полную модель? Напомню, что квантизация — это механизм сжатия LLM с попыткой минимизировать потери в качестве. Всё очень просто. Вспомним, что модель имеет около 47 млрд параметров. Каждый параметр в исходном формате — это 16-битное число. А мы можем округлить их до 8, 5, 4 и так далее бит, тем самым значительно уменьшив размер модели, но и понизив качество. На практике наиболее оптимальный вариант для моего сервера оказался Q4_K_M — то есть 4-битная квантизация.

И тут пришло разочарование: качество ответов модели сильно просело и категорически не устраивало меня. Я оказался в ловушке — мейнстримные ИИ слишком сильно зацензурированы, а опенсорсные модели я не могу захостить локально. Я не был готов арендовать сервера или покупать новое железо.

Осталось только впасть в тильт и отказаться от затеи… Пришлось возвращаться к думскроллингу и прокрастинации. И вот, почитывая в очередной раз довольно ‘специфический’ контент в X, я увидел Grok и подумал: чем чёрт не шутит, давай его тоже протестируем.

И хвала Илону Маску! Grok был всегда буквально перед глазами и оказался идеальным вариантом.

Первый релиз Грока — фото в цвете

Grok предоставлял:

• Удобное и стабильное API
• Крайне продвинутую модель, не хуже GPT, а по моему личному мнению даже лучше
• И самое главное — крайне низкий уровень цензуры. Grok практически не уступал Mixtral. Я смог затавить его отыгрывать даже самые экстравагантные и неполиткорректные роли.

Вот так в жизни обычно и происходит. Я потратил кучу лишнего времени, разбираясь с опенсорсными моделями, пытаясь найти ту самую. Пришлось поднимать минимальную базу по LLM, вникать в квантизацию, искать компромиссы и т. д. и т. п. А решение оказалось очевидным. Ну а что я думал — в сказку попал? 😀

Вы ещё со мной? 😁 Напоминаю,что мы выбрали только модель, и пока что написано 0 строчек кода. У меня этот этап занял чуть больше недели с учётом фулл-тайм работы.

Спойлер: бот всё-таки дописан. В качестве доказательства привожу ссылку **@ROLEPLAY_AI_BOT**. Заходите на свой страх и риск.

В следующих статьях мы уже начнем разбирать сам процесс разработки.