Интересы в области AI

Опыт работы с AI-технологиями

Мое увлечение текстовыми ИИ началось с Dungeon AI и Kobold AI, меня особенно привлекают открытые LLM, способные работать локально. Сейчас активно использую фронты text-generation web-ui и KoboldCPP, а также Chat GPT-4 и Bing Copilot. Имею понимание принципов работы LLM, форматов (GGUF, AWQ, GPTQ, EXL2) и квантовании, понимаю проблему размера контекста и необходимых для работы LLM ресурсах, ориентируюсь в параметрах генерации текста (таких как temperature, top-p, repetition penalty) и особенностях форматирования промптов для разных моделей. Использовал основные семейства открытых LLM (llama2, Yi-34B, mistal/mixtral) на локальном компьютере, также использую OpenAI-compatible API для личной БД Obsidian.

Применение AI в личных проектах

Создал несколько AI-скриптов, которые использую для личных целей:

  • Текстовый помощник, аналогичный Notion AI, который адаптирует тексты к заданному стилю, может продолжить или обощить текст. Собран при помощи txt ai, модели загружаются через интегрированный загрузчик, используется OpenHermes-2.5-Mistral-7B-AWQ, фронт Steamlit, бэк на Uvicorn через Fast API.
  • AI-помощник генерирующий ответы на основе загруженных данных (RAG) из текстовых документов или PDF, также на txt ai.
  • Переводчик работающий без интернета и без ограничения на длину текста. На Python без фронта, текст бьется на чанки по 400 токенов и переводится при помощи компактной специализированной модели madlad400-3b-mt.
  • Скрипт для генерации текста на основе аудио или видео. Для теста используется LangChain. Модели загружаются при помощи vLLM, далее парсится ссылка на youtube (источник впринципе неважен), загружется аудио-дорожка, транскрибируется при помощи OpenAI Whisper, далее текст бъется на чанки и при помощи Embedding с HuggingFace производится summarize и генерируются заголовки. В дальнейшем можно продолжить работу с текстом при помощи других запросов. Сделано два варианта суммаризации: упрощенная через рекурсивную обработку и через Embeddings.

Исследование и аналитика в области AI

Активно изучаю новейшие разработки в сфере LLM, следя за обновлениями на Hugging Face и r/LocalLLaMA. В настоящее время сосредоточен на изучении и внедрении более продвинутых решений для RAG.

Я написал несколько статей о AI, например, адаптацию видео-лекции Андрея Карпаты о LLM (статья была подготовлена при помощи ИИ) и использование оболочки Foocus для Stable Diffusion. Pазработал курс по оболочке Automatic1111 для SD (подробнее о нем в PDF версии портфолио)