Локальные LLM на iPhone: память, Core ML, MLX и ограничения

30.07.2026 11:39:13 | Хабр

Хабы: iOS, Swift, Искусственный интеллект, Разработка мобильных приложений

Всем привет! Меня зовут Никита Нагорнов, я iOS-разработчик в компании «Исходный Код». В этой статье разберем, как запускать локальные LLM на iPhone.

Поговорим про:

1. Архитектуру Apple Silicon и Unified Memory — почему не можем использовать всю доступную память;

2. Память, квантование и KV Cache — где приложения начинают падать и как это отловить;

3. Core ML и MLX — чем отличаются, где какой быстрее и почему нельзя всё запускать на нейронном процессоре;

4. Температуру и троттлинг — что происходит с телефоном на длинной сессии;

5. Гибридный пайплайн — как взять сильные стороны обоих фреймворков и получить стабильную генерацию.

Подробнее

Читайте также

Асинхронный Kotlin. Обзор новинки
30.07.2026 11:37:51 | Хабр

Чем занимаются и сколько зарабатывают аналитики в IT
30.07.2026 11:31:06 | Хабр

Грядущие Redmi K100 засветились в тестах Geekbench
30.07.2026 11:24:30 | ferra.ru

Bloomberg: ChatGPT и Roblox попадут под более строгое регулирование ЕС — они получат статус «очень крупных онлайн-платформ»
30.07.2026 10:58:46 | vc.ru

Штрафы Google в России достигли 56 млрд рублей
30.07.2026 10:57:21 | it-world

Релятивизм или здравый смысл
30.07.2026 10:52:38 | Хабр

Отчёт Ozon за квартал: выручка выросла на 47% и составила 334,2 млрд рублей, чистая прибыль — 10,1 млрд рублей
30.07.2026 10:50:07 | vc.ru

Быстрорастущие компании делают ставку на искусственный интеллект и облака
30.07.2026 10:40:53 | it-world

Кастомизация Битрикс24: 3 способа и что переживёт апдейт
30.07.2026 10:40:24 | Хабр

Какой ПК собрать в 2026 году, чтобы он потянул GTA 6, и не разориться
30.07.2026 10:39:05 | Хабр

Июль у Claude: от умного чата к сотруднику, которому показал один раз
30.07.2026 10:33:56 | Хабр

Идёт публичное обсуждение первого в России стандарта по безопасной разработке ПО с ИИ
30.07.2026 10:15:23 | Хабр

ИИ не стал драйвером цифровизации машиностроения
30.07.2026 10:01:32 | it-world

Минцифры предложило обязать иностранные сайты авторизовывать российских пользователей только по номеру телефона — «Ведомости»
30.07.2026 09:58:03 | vc.ru

Бесплатные патенты на разработки от Московского инновационного кластера для IT-компаний: как получить поддержку?
30.07.2026 09:52:23 | Хабр

Как мы впервые вывели R-Vision SIEM на Standoff 17: рассказываем про опыт кибербитвы
30.07.2026 09:51:36 | Хабр

Опыт разработки terraform-provider-zvirt
30.07.2026 09:48:39 | Хабр

От boot-кода до shell: несколько месяцев разработки ОС на Rust с ИИ-агентами
30.07.2026 09:47:26 | Хабр

Метеостанция на LoRa и ESP32, которая годами работает от батарейки
30.07.2026 09:42:20 | Хабр

Как я написал свой SMTP‑сервер, чтобы не пропускать сообщения заказчиков с фриланс‑бирж
30.07.2026 09:37:54 | Хабр

Прерываемые ноды Selectel MKS: как устроено вытеснение и как настроить graceful shutdown подов
30.07.2026 09:36:23 | Хабр

В СМИ просочились все характеристики грядущего смартфона Oppo A7 Pro Max
30.07.2026 09:24:29 | ferra.ru

ИИ-агент в тестировании: почему сильный результат рождается не из промпта, а из инженерного контура
30.07.2026 09:19:26 | Хабр

Uni-Bond: как двухнедельный проект на летней школе AIRI дошёл до статьи на воркшопе ICML 2026
30.07.2026 09:14:04 | Хабр

Советский МК88 — шарим по BBS консольного интернета
30.07.2026 09:05:17 | Хабр

От защиты периметра к Zero Trust. Как NAC-системы обеспечивают защиту и контроль доступа в корпоративной сети
30.07.2026 08:58:30 | Хабр

День 1618: рост реальных располагаемых доходов россиян в первой половине 2026 года замедлился до 1,5%
30.07.2026 08:44:54 | vc.ru

Почему нельзя копировать маркетинг соседей по рынку, даже если у них всё работает
30.07.2026 08:44:36 | Хабр

Заставляем Pulumi летать: тюнинг параллельности и in‑memory кэширование для VMware Cloud Director
30.07.2026 08:43:14 | Хабр

Как мы бросили попытки сделать “свой Tinder”, ужали продукт до одной идеи — и получили 7000 активных пользователей
30.07.2026 08:40:47 | Хабр

Как я собрала локальную MCP-платформу для мониторинга промышленных данных
30.07.2026 08:32:44 | Хабр

Книга: «Создание приложений с ИИ-агентами. Проектирование и внедрение мультиагентных систем»
30.07.2026 08:23:28 | Хабр

Птица Феникс. Как разблокировать прокси с помощью «зеркала»
30.07.2026 08:15:00 | Хабр

О гадании языковой модели в поиске
30.07.2026 08:10:47 | Хабр

Как мы спроектировали систему виброакустического мониторинга автомобиля на основе волоконно-оптических датчиков
30.07.2026 08:10:11 | Хабр

Смотреть все

НОВОСТИ

Трамп заявил, что "не уверен" в передаче Киеву лицензии на ракеты для Patriot
31.07.2026 05:22:00 | Российская Газета

МВД: число преступлений с использованием соцсетей и мессенджеров сократилось на 58%
31.07.2026 05:20:49 | ТАСС

В России разработали хлеб для похудения
31.07.2026 05:19:43 | ТАСС

VK: компании цифровых развлечений КНР заинтересованы в продвижении на рынке РФ
31.07.2026 05:19:39 | ТАСС

Axios: разоружение ХАМАС начнется в ближайшие недели
31.07.2026 05:17:58 | ТАСС

БПЛА атаковали склад в Волгограде. Пострадало пять человек. Что известно о происшествии?
31.07.2026 05:17:29 | Lenta.ru

Во Владивостоке порядка 24 тыс. жителей остались без воды и света
31.07.2026 05:14:28 | ТАСС

Трамп подтвердил, что Уиткофф и Кушнер скоро впервые посетят Украину
31.07.2026 05:12:00 | Life.ru

Синоптик Кубай объяснил, чем Приморью грозит "инкубатор тайфунов"
31.07.2026 05:09:28 | ТАСС

В Приамурье ввели запрет на использование воздушного пространства малой авиацией
31.07.2026 05:07:02 | ТАСС

В Приамурье ввели запрет на использование воздушных судов малой авиации
31.07.2026 05:07:02 | ТАСС

Бойцы ВС РФ "Ланцетом" уничтожили украинскую РСЗО с расстояния более 20 км
31.07.2026 05:06:24 | ТАСС

В Казани и еще девяти городах Татарстана объявили угрозу БПЛА
31.07.2026 05:06:19 | ТАСС

В природном парке "Быстринский" на Камчатке открылись летние маршруты
31.07.2026 05:06:05 | ТАСС

Бойцы "Запада" сбили 3 БПЛА "Лютый" из зенитной установки ЗУ-23, установленной на "Камаз"
31.07.2026 05:05:37 | ТАСС

Операторы ударных дронов уничтожили укрепрайон ВСУ на добропольском направлении
31.07.2026 05:05:02 | ТАСС

Бойцы "Востока" уничтожили диверсионно-разведывательную группу ВСУ на Запорожье
31.07.2026 05:04:54 | ТАСС

В Торском медики "Центра" помогли тяжелораненому солдату ВСУ
31.07.2026 05:04:37 | ТАСС

Командир Кавказ: бойцы "Центра" обманули ВСУ в Торском, переждав атаку дронов
31.07.2026 05:04:07 | ТАСС

В аэропорту Калуги сняли ограничения на прием и выпуск самолетов
31.07.2026 05:04:03 | ТАСС

Миронов предложил увеличить пенсии детям, потерявшим родителей
31.07.2026 05:04:02 | ТАСС

ВСУ выдали расположение пунктов управления БПЛА, забрав приземлившиеся дроны
31.07.2026 05:03:50 | ТАСС

Саперы системы "Земледелие" сорвали ротацию ВСУ на добропольском направлении
31.07.2026 05:03:33 | ТАСС

Расчет ЗРК "Бук-М3" отразил воздушную атаку ВСУ на добропольском направлении
31.07.2026 05:03:07 | ТАСС

В отелях Петербурга средняя стоимость номера выросла на 8%
31.07.2026 05:02:58 | ТАСС

Бойцы "Востока" уничтожили 15 укрепленных блиндажей ВСУ в Запорожской области
31.07.2026 05:02:54 | ТАСС

Командир Клементьев: маршрут захода в Торское штурмовикам РФ прокладывать с дрона
31.07.2026 05:02:46 | ТАСС

Командир Борзый: ВСУ в Торском пробивали сквозные дыры в домах для оборудования бойниц
31.07.2026 05:02:04 | ТАСС

Командир Борзый рассказал, как начался штурм Торского
31.07.2026 05:01:54 | ТАСС

Малый морской танкер "Валентин Рыков" принят в состав Балтийского флота
31.07.2026 05:01:50 | ТАСС

ВСУ потеряли за сутки от действий "Севера" 205 беспилотников самолетного типа
31.07.2026 05:01:44 | ТАСС

Эксперт Киселев: Киев не дает людям эвакуироваться из Константиновки
31.07.2026 05:01:38 | ТАСС

ВСУ потеряли за сутки от действий "Запада" 103 тяжелых квадрокоптера
31.07.2026 05:01:20 | ТАСС

Командир Кавказ: при зачистке Торского ВС РФ пробивали ходы под землей
31.07.2026 05:01:13 | ТАСС

Мирошник сообщил, что Зеленского уже пытались отстранить от денежных потоков
31.07.2026 05:00:55 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro