Тематическая лента
Подборка материалов
Публикации, объединённые общей практической задачей.
5464
материалов
01
Бюджетный домашний AI-сервер: 3x RX 9060 XT против 3x RTX 5060 Ti — выбираем платформу для LLM и MoE
Сравниваем 3 GPU с 48 ГБ VRAM для LLM и MoE: RX 9060 XT и RTX 5060 Ti, AM5 и б/у EPYC, PCIe x4. Практические конфигурации домашнего AI-сервера в бюджете $3500.
02
Сжатие LLM на 233 ГБ без потери точности: как удаление мультиязычности оптимизировало Kimi K3
Энтузиаст hellohazine сжал Kimi K3 с 711 до 478 ГБ, удалив все языки кроме английского. Точность на английском сохранилась, требования к GPU снизились на треть.
03
gitTalk: как нейросеть превращает естественный язык в Git-команды — опыт разработки на Go
Утилита gitTalk конвертирует фразы на естественном языке в Git-команды через Gemini API. Разбор архитектуры на Go, строгий промпт для точных ответов модели и ре
04
OpenAI приобретает NextSlide: как стартап по созданию презентаций усилит ChatGPT
OpenAI приобрела стартап NextSlide и интегрировала его команду в ChatGPT. Разбираем, как технология генерации презентаций изменит продукт, какие функции появятс
05
Спекулятивное декодирование в llama-server: почему DSpark даёт 1-2 токена/с, а MTP — 30-40, и как это исправить
DSpark draft-модель в llama-server режет скорость DeepSeek-V4-Flash до 1-2 токенов/с вместо обещанного ускорения. Разбираем три главные причины деградации и даё
06
Тестирование квантованных версий DeepSeek Flash 0731: какие бенчмарки использовать и как оценить деградацию
Сравниваем оригинальную DeepSeek Flash 0731 с квантованными версиями через MMLU, HellaSwag и логические задачи. Готовая методика тестирования за 1 млн токенов,
07
Как включить PCI-E P2P на потребительских GPU Nvidia и получить +25% к скорости инференса: пошаговый гайд с тестами
Включите PCI-E P2P на потребительских видеокартах Nvidia и ускорьте инференс LLM на 25% без замены железа. Пошаговый гайд с тестами на 4×RTX 5060 Ti: настройка
08
4-битное квантование в MLX: сравнительный анализ OptiQ, Unsloth, oQ, DWQ и нативного метода
Практический разбор 4-битных методов квантования для MLX на Apple Silicon. Сравниваем OptiQ, Unsloth dynamic 2.0, oQ, DWQ и нативное квантование: качество, скор
09
Microsoft Phi 4: почему флагман устарел и ждать ли Phi 5? Разбор перспектив малых моделей в 2026
Microsoft Phi 4 не обновлялась с марта 2025. Разбираем причины заморозки флагмана, оцениваем шансы на выход Phi 5 и сравниваем актуальные альтернативы: Qwen 2.5
10
Экологический след AI: почему дата-центры становятся главным источником выбросов CO2 и что это значит для индустрии
Обучение одной большой языковой модели даёт около 284 тонн CO2, а запрос к ChatGPT энергозатратнее обычного поиска примерно в 10 раз. Разбираем углеродный след
11
Оптимизация памяти при serving DeepSeek-V4-Flash-0731 на 2× DGX Spark: практический разбор
Карта памяти DeepSeek-V4-Flash-0731 на 2× DGX Spark: 87-89 GiB веса, 11.2 GiB KV-кэш, 5-7 GB для ОС. Почему swap и CPU offload не работают на unified memory и к
12
Оптимизация инференса генеративных моделей в Amazon SageMaker: практическое руководство с новым Python SDK
Пошаговое руководство по оптимизации инференса генеративных моделей в Amazon SageMaker с новым Python SDK v3. Бенчмаркинг, автоматический подбор инстанса, депло