Почему вы до сих пор кормите свою LLM скриншотами? Каждый снимок экрана веб-страницы — это 1-2 MB мусора: рекламные баннеры, анимации, лишние пиксели. Модель тратит контекстное окно на распознавание шрифтов и фонов, вместо того чтобы анализировать смысл. А потом вы удивляетесь, почему счет за API вырос до небес.
TextWeb — это открытый инструмент, который рвет этот шаблон. Он рендерит страницу в Markdown — чистый, структурированный, без единого лишнего байта. Никаких токенов на описание картинок. Только то, что нужно агенту для работы.
Суть: вместо того чтобы показывать модели картинку и ждать, пока она разберется, TextWeb сразу отдает текст с разметкой. Быстрее, дешевле, точнее. Мы уже разбирали эту идею в статье TextWeb: когда скриншоты весят как слоны, а нужны муравьи — разница в 437 раз по размеру.
Как TextWeb выносит мозг: от DOM до строчки кода
За кулисами всё просто: TextWeb запускает headless-браузер (через Playwright), загружает страницу, дожидается выполнения JavaScript, а потом не делает скриншот. Вместо этого он парсит DOM, вычисляет визуальное расположение элементов и собирает текстовую сетку с семантическими метками. На выходе — Markdown.
Вот что реально круто:
- Полная поддержка JavaScript — SPA, динамические страницы, lazy loading. TextWeb ждет, пока всё отрендерится.
- Семантические блоки — заголовки, списки, таблицы, ссылки, код. Модель видит структуру, а не мешанину текста.
- MCP сервер в комплекте — подключаете к любому MCP-совместимому клиенту (Claude Desktop, продолжение). Агент получает веб-страницу как Markdown одной командой.
- CLI из коробки —
textweb https://example.com— и готово.
Звучит как замена Playwright с кастомным парсером? Да, только не нужно писать велосипед. TextWeb уже умеет вырезать навигацию, футеры, рекламу — то, что обычно бесит при скрапинге.
Сравнение с альтернативами: кто кого?
На рынке есть несколько решений для превращения веба в текст для LLM. Но ни одно не делает это так легковесно и открыто.
| Инструмент | Цена | JavaScript | Markdown | MCP сервер | Локально |
|---|---|---|---|---|---|
| TextWeb | Бесплатно | Да | Да | Да | Да |
| Jina AI Reader | Условно-бесплатно | Ограниченно | Да | Нет | Нет |
| Firecrawl | Платный | Да | Да | Нет | Условно |
| Playwright + парсинг | Бесплатно | Да | Нет | Нет | Да |
Jina AI Reader — хороший облачный сервис, но он не работает локально и не даёт контроля. Firecrawl — мощный, но платный и тяжелый. Playwright в одиночку — это только голый HTML, без структуры. TextWeb забирает лучшее из каждого: локальность, чистый Markdown, MCP и ноль затрат.
Примеры: где TextWeb решает реальные боли
1 CLI за две секунды
Ставите через npm, pip или скачиваете бинарник. Выполняете:
textweb https://news.ycombinator.comПолучаете Markdown с заголовками новостей, ссылками, скopами — без рекламы и трекеров. Вес: 3 KB вместо 1.4 MB скриншота. Эту механику мы подробно разбирали в статье TextWeb: когда скриншоты весят как слоны, а нужны муравьи.
2 MCP сервер для агентов
Запускаете MCP сервер TextWeb и подключаете к своему AI-агенту. Теперь агент может попросить «открой страницу документации LangChain» и получить готовый Markdown для анализа. Никаких скриншотов, никаких vision моделей. Только текст, который LLM понимает с полпинка.
Не советую так делать, если не хотите сэкономить 90% токенов. После перехода на TextWeb расходы на API упали с $200 до $15 в месяц (реальный кейс из сообщества).
3 Препроцессор для RAG
TextWeb отлично подходит не только для агентов, но и для построения базы знаний. Скармливаете ему URL — получаете Markdown, который можно индексировать в векторную БД. Мы уже писали про построение эффективной базы знаний для AI-моделей — TextWeb идеально вписывается в пайплайн как источник чистого контента.
Кому нужен TextWeb, а кому — нет
Идеально подходит:
- Разработчикам AI-агентов, которые устали платить за vision API.
- Энтузиастам локальных LLM — TextWeb не требует GPU, работает на любой кофеварке.
- Тем, кто строит RAG-системы на базе веб-контента.
- Фанатам open-source, которые хотят полный контроль над стеком.
Не подойдет:
- Если вам нужно анализировать дизайн сайта (цвета, шрифты, верстку). Для этого лучше использовать Screen Vision — мы писали как собрать такого агента.
- Если сайт полностью состоит из canvas-элементов или SVG (карты, графики).
- Если вам лень ставить Python/Node.js — хотя установка занимает 2 минуты.
Главный аргумент в пользу TextWeb — это не просто экономия. Это принципиально другой подход: не заставлять модель тратить интеллект на расшифровку пикселей, а давать ей структурированный текст. Как мы уже отмечали в критике мультимодальных ИИ, vision модели — грубый инструмент для веб-автоматизации. TextWeb — скальпель.
Попробуйте. Поставьте сегодня, скормите агенту десяток URL, и вы увидите: токены перестанут гореть впустую. А когда привыкнете, попробуйте использовать его как препроцессор для вашей RAG-системы — превращайте любую страницу в идеальный чанк для эмбеддингов. Это тот случай, когда меньше (данных) значит больше (смысла).
