Если вы ежедневно пользуетесь iPhone, iPad или Mac, вы уже живете с ними. машинное обучение Apple Хотя вы можете этого и не осознавать. От организации ваших фотографий до подсказок текста на клавиатуре или новых функций Apple Intelligence — в фоновом режиме работает настоящий цифровой мозг, благодаря которому всё кажется волшебным… но при этом находится под строгим контролем.
В последние годы Apple прошла путь от крайне скрытной компании в отношении искусственного интеллекта до открытой миру. Apple ИнтеллектЖурнал Apple по машинному обучению, MLX и очень развитая экосистема фреймворков для разработчиков. И все это с очень четкой идеей: ИИ должен быть повсюду, но ваши данные должны оставаться вашими и обрабатываться, по возможности, внутри устройства.
Что Apple понимает под машинным обучением и искусственным интеллектом?
Для Apple это автоматическое обучение (машинное обучение) Речь идёт не просто об обучении огромной модели в центре обработки данных и подключении её к приложению. Их подход основан на заполнении операционной системы небольшими и крупными интеллектуальными алгоритмами, решающими очень специфические задачи: распознавание лиц на фотографиях, прогнозирование того, какое приложение вы хотите открыть, очистка от шума во время звонка или обнаружение возможного дорожно-транспортного происшествия с помощью iPhone или Apple Watch.
Параллельно компания совершила скачок в... Генеративный ИИ С помощью Apple Intelligence: модели, способные суммировать, переписывать и классифицировать текст, генерировать изображения, похожие на иллюстрации, или создавать персонализированные Genmoji, отвечать на естественном языке и понимать контекст того, что вы видите на экране. Все это не входит в состав отдельного приложения, но интегрированы в систему и распределены по различным функциям.
Исторически сложилось так, что Apple очень скрытно раскрывает информацию о своей работе в области искусственного интеллекта, что создавало ей проблемы, когда дело касалось... привлечение талантливых исследователейЗапрет на публикацию статей и предоставление инженерам возможности делиться своими достижениями напрямую противоречили академической культуре сообщества ИИ. Именно поэтому был запущен... Журнал Apple Machine Learning Journal Это представляло собой значительный сдвиг в способе представления результатов их исследований.
В этом техническом блоге инженеры Apple подробно рассказывают о том, как они применяют искусственный интеллект и машинное обучение для создания более интеллектуальных продуктов и, прежде всего, как они решают сложные задачи, такие как: реализм синтетических изображенийкоторые используются для более быстрого обучения нейронных сетей с меньшими затратами на ручную разметку.
Культурные изменения также очевидны в том, что Apple в настоящее время поощряет других исследователей, студентов и разработчиков к... присылайте вопросы и предложить обратную связь, открыв канал связи, которого раньше просто не существовало. Этот шаг был практически необходим, если Apple хотела продолжать конкурировать напрямую в условиях, когда Google, OpenAI, Meta или Microsoft Они постоянно публикуют материалы и сотрудничают друг с другом.
Apple Intelligence: новый уровень искусственного интеллекта на iPhone, iPad и Mac
Apple Intelligence — это название, которое Apple дает своей единой стратегии. Генеративный искусственный интеллект и машинное обучение интегрированы в саму операционную систему. Это не отдельная модель или отдельное приложение, а набор моделей и инструментов, которые существуют в iOS, iPadOS и macOS и распространяются по всей системе.
Многие функции Apple Intelligence используют существующие возможности (более 200 алгоритмов машинного обучения на iPhone уже справлялись с такими задачами, как организация фотографий или прогнозирование текста), но теперь к ним добавляются новые функции. модели генерации языка и изображений гораздо более сложная система, разработанная специально для повседневных задач.
Ключевой момент — это то, как эти функции выполняются. Apple делает на это все возможное. обработка на устройствеЭти модели работают непосредственно на вашем iPhone, iPad или Mac. Чипы A17 Pro или Apple Silicon (серия M)Это позволяет использовать возможности центрального процессора, графического процессора и, прежде всего, нейронного процессора. Таким образом, ваши личные данные не покидают устройство при выполнении большинства повседневных действий.
Когда задача слишком ресурсоемка для локального оборудования, вступают в действие следующие факторы: Частные облачные вычисленияВ этом случае устройство выбирает только строго необходимые данные, анонимно отправляет их на собственные серверы Apple, запускает там модель и удаляет данные, не сохраняя их. Это частное облако работает на оборудовании с чипами Apple и предлагает передовые механизмы аудита безопасности для предотвращения несанкционированного доступа.
Кроме того, Apple Intelligence может использовать модели сторонних разработчиков, такие как... Чат OpenAIGPT В случае очень общих вопросов или специализированных тем, не охватываемых собственными моделями Apple, Siri явно спрашивает, хотите ли вы отправить информацию во внешний сервис. Вы можете заблокировать эту функцию, если предпочитаете, чтобы все оставалось в рамках экосистемы Apple.
Основные интеллектуальные функции для пользователя
Наглядное воплощение машинного обучения в Apple можно увидеть в функциях, которыми вы пользуетесь каждый день, многие из которых уже интегрированы с Apple Intelligence и классическими фреймворками машинного обучения компании.
Одной из самых ярких новых функций является Визуальный интеллектЭта функция, доступная на iPhone 16, iPhone 16 Pro, а также через кнопку «Действие» на iPhone 15 Pro и iPhone 16e, активирует камеру, которая затем переходит в режим, где система анализирует контент, на котором вы сфокусированы, и предлагает такие варианты, как «Спросить» или «Поиск». Если система обнаружит текст, могут также появиться варианты «Краткое содержание», «Перевести» или «Прочитать вслух».
Это позволяет iPhone кратко излагать содержание печатного документа, зачитывать вслух целую страницу или перевести меню на лету на другой языкЭто сочетание компьютерного зрения, обработки естественного языка и синтеза речи, причем большая часть операций выполняется непосредственно на самом устройстве.
Лас- Инструменты для письма Они являются еще одним ключевым компонентом. Интегрированные во многие системные приложения и доступные для сторонних приложений, использующих общие API, они позволяют резюмировать длинные тексты, переписывать их в другом тоне или стиле, исправлять грамматические ошибки и предлагать быстрые ответы в таких контекстах, как почта или сообщения. Именно здесь вступают в игру языковые модели Apple, а также, при желании, сторонние модели, такие как ChatGPT.
В области обработки изображений Apple предлагает две функции генерации изображений: Генмодзи, которая создает пользовательские эмодзи из текстовых описаний для использования в iMessage или электронной почте, и Изображение игровой площадкиОн генерирует иллюстрации в различных стилях (эскиз, иллюстрация или 3D-анимация) по простым инструкциям. Он не конкурирует с нишевыми сервисами, такими как Midjourney, но имеет преимущество в виде интеграции, бесплатности и сильного акцента на конфиденциальность.
Управление Уведомления Сообщения также стали умнее. Система использует модели классификации, чтобы определить, какие уведомления наиболее релевантны, и расставить приоритеты. Она может сжимать содержимое электронных писем и сообщений в одну строку, чтобы вы могли получить представление о содержимом, не открывая их, и более интеллектуально настраивать режим фокусировки в зависимости от контекста.
В приложении «Фотографии» машинное обучение используется для... распознавание лиц, мест, предметов и сценСоздавайте слайд-шоу с повествовательной структурой и предлагайте подходящую музыку. Благодаря искусственному интеллекту вы также можете искать определенный момент в видео, описывая, что происходит («когда девочка задувает свечи»), а также получать доступ к расширенным инструментам редактирования, таким как удаление ненужных элементов фона одним касанием.
Обновленная Siri: больше контекста, больше искусственного интеллекта и связь с внешними моделями.
Siri — один из продуктов Apple, где влияние машинного обучения и его недавнего развития наиболее заметно. Первоначальный помощник, приобретенный в 2010 году после участия в проектах, финансируемых DARPA, использовал технологии распознавания голоса, подобные тем, что применяет Nuance, и системы, менее сложные, чем современные модели нейронных сетей.
Со временем Apple начала использовать глубокие нейронные сети, n-граммы и другие модели, работающие непосредственно на устройстве. Целью было улучшение понимания языка и распознавания речи. Эти улучшения были настолько значительными, что, по словам Эдди Кью, скачок в точности заставил команду повторить тесты на случай, если произошла ошибка в вычислениях.
Тем не менее, революция пришла вместе с архитектурой трансформеры Популяризированная благодаря известной статье 2017 года «Внимание — это все, что вам нужно», платформа ChatGPT легла в основу современного генеративного ИИ и таких моделей, как от OpenAI. Хотя ChatGPT стала повсеместно распространенной, многие считали, что Apple отстала, не имея прямого аналога.
В ответ компания переработала Siri, сделав её публичным лицом Apple Intelligence. Теперь у голосового помощника есть Новый интерфейс Она подсвечивает весь корпус iPhone, может использоваться как для набора текста, так и для голосового ввода, и гораздо лучше понимает личный контекст: события календаря, электронные письма, контент на экране, недавние сообщения и т. д.
Начиная с новых версий системы, Siri сможет... управляйте приложениями так, как если бы вы были собой.Она объединяет сложные действия и обращается к различным внутренним источникам информации. А когда требуется внешняя информация или очень развернутые рассуждения, она выступает в качестве шлюза к сторонним моделям, таким как ChatGPT, всегда запрашивая разрешение перед отправкой ваших данных.
Фреймворки машинного обучения для разработчиков
Всё, что видит конечный пользователь, основано на мощной экосистеме фреймворков машинного обучения, которую Apple предоставляет разработчикам и энтузиастам. Команда On-Device Machine Learning предлагает инструменты для интеграции Apple Intelligence и пользовательских моделей в приложениях и проектах, не всегда полагаясь на облачные технологии.
Краеугольным камнем является Core MLЭто фреймворк для запуска моделей машинного обучения на устройствах Apple. Модели упакованы в формат .mlmodel, их можно загрузить готовыми с сайта developer.apple.com или из официального пространства Apple Hugging Face, либо преобразовать из других форматов (TensorFlow, PyTorch и т. д.) с помощью Core ML Tools на Python.
Core ML автоматически оптимизирует модели для оборудования Apple, уменьшая их размер и повышая производительность, а также может сочетать эти оптимизации с ручными настройками. В Xcode разработчики могут изучить архитектуру модели, просмотреть показатели производительности и даже генерировать строго типизированный код Swift для безопасной интеграции их в ваши приложения.
В процессе выполнения Core ML распределяет рабочую нагрузку между ЦП, ГП и нейронным движком для достижения быстрой и энергоэффективной обработки данных, обеспечивая при этом конфиденциальность за счет локального выполнения всех операций. Для более сложных сценариев использования его можно дополнить другими инструментами. MPSGraph и Metal Compute для программирования пользовательских ядер для графических процессоров или с помощью API. График BNNS из фреймворка Accelerate, который теперь включает BNNSGraphBuilder для построения графов машинного обучения на ЦП с низкой задержкой.
Для тех, кто хочет обучать собственные модели, не выходя за пределы экосистемы, Apple предлагает следующее: Создать MLПриложение, сочетающее в себе функции приложения и фреймворка, предназначено для обучения моделей классификации изображений, обнаружения объектов, анализа текста или классификации звука с использованием Swift. Оно использует методы трансферного обучения и интегрируется с Xcode, упрощая цикл обучения, оценки и экспорта моделей непосредственно в файл .mlmodel.
Специализированные API: обработка изображений, языковые интерфейсы, аудио и голосовые интерфейсы.
Помимо Core ML, Apple поддерживает ряд специализированных фреймворков, построенных на основе машинного обучения, которые помогают решать очень специфические задачи без необходимости для разработчика создавать модель с нуля.
Первый Наше видениеAPI компьютерного зрения позволяет выполнять классификацию изображений, обнаружение объектов с помощью ограничивающих рамок, распознавание лиц, оптическое распознавание символов (OCR), сегментацию людей или фона, а также оценку позы человека. В последних версиях реализованы такие улучшения, как... расширенное распознавание документов или обнаружение пятен на объективе, что очень полезно для предупреждения пользователя о необходимости очистки камеры, если изображение получается размытым.
Для обработки естественного языка существует соответствующая структура. Естественный языкОн предлагает идентификацию языка, токенизацию, грамматическую разметку, распознавание сущностей, анализ настроения, лемматизацию и генерацию векторных представлений. Все это, по возможности, выполняется на устройстве, что делает его идеальным выбором для приложения, которым необходимо анализировать тексты в частном порядке без отправки данных на сервер.
Машинный перевод осуществляется с помощью фреймворка. ПереводыВ то время как Анализ звука Он обнаруживает и классифицирует звуки в реальном времени (от лая собак и сигналов тревоги до уроков музыки) с помощью моделей Core ML. Как и в случае с остальными API Apple, обработка звука может выполняться локально, что имеет ключевое значение в контексте безопасности или видеонаблюдения.
В области голосовых технологий у Apple есть соответствующая платформа. речьКомпания специализируется на распознавании и транскрипции. Внедрение API. SpeechAnalyzer Это позволяет ускорить и упростить обработку речи в текст, особенно в длинные аудиозаписи или с микрофоном, расположенным далекоЭто важный компонент для приложений диктовки, записи совещаний или создания субтитров в режиме реального времени.
Все эти фреймворки можно комбинировать друг с другом, а также с пользовательскими моделями, созданными с помощью Create ML или преобразованными с помощью Core ML Tools, что позволяет создать высокоэффективную экосистему искусственного интеллекта для iOS, iPadOS, macOS, watchOS и tvOS.
Базовые модели и MLX: скачок к масштабируемости в Apple Silicon.
С выходом iOS 26 компания Apple сделала важный шаг, включив в свою операционную систему новую функцию. Структура базовых моделей непосредственно в систему. Это большие языковые модели, оптимизированные и точно настроенные специально для решения повседневных задач: обобщения, извлечения ключевой информации, классификации, генерации структурированных ответов или безопасной работы с персональными данными.
Эти модели работают безупречно. на устройстве По возможности это означает, что вы можете, например, запросить краткое содержание длинного текста или извлечь ключевые данные из документа, не покидая свой iPhone или Mac. Кроме того, их можно интегрировать с данными в реальном времени посредством «вызовов инструментов», позволяя модели выполнять действия (открывать приложение, создавать цитату, запрашивать локальную базу данных) и ссылаться на надежные источники.
Для исследований и экспериментов компания Apple запустила MLXMLX — это библиотека с открытым исходным кодом для численных вычислений и машинного обучения, разработанная специально для использования потенциала процессоров Apple Silicon. MLX позволяет настраивать, обучать и запускать модели нового поколения на устройствах Mac с чипами M, включая большие языковые модели (LLM) который можно запустить простым вызовом из командной строки.
Единая архитектура памяти Apple Silicon позволяет процессору и графическому процессору работать параллельно с одним и тем же буфером, что значительно упрощает управление данными и повышает производительность обучения и вывода результатов. MLX доступен в Python, Swift, C++ и другие языкии дополняется поддержкой, которую Apple добавляет для популярных фреймворков, таких как PyTorch или JAX, через Metal.
Для исследователей и энтузиастов в области искусственного интеллекта Apple поддерживает активные ресурсы на developer.apple.com и в своих репозиториях GitHub, где публикует модели, инструменты преобразования, примеры кода и технические статьи. Это знаменует собой значительный сдвиг по сравнению с тем временем, когда практически никакие результаты исследований компании не публиковались.
Конфиденциальность, частное облако и взаимодействие с другими моделями ИИ.
Одним из столпов подхода Apple к искусственному интеллекту и машинному обучению является privacidad privacidad Компания настаивает на том, что моделям необходимо знать вашу личную информацию, чтобы быть действительно полезными, но это не означает, что они будут собирать или использовать её вне вашего контроля.
Встроенная обработка данных на устройстве, с использованием все более мощных и специализированных чипов, позволяет iPhone или Mac выполнять задачи, которые еще несколько лет назад требовали мощного сервера. Это означает, что... более низкая задержка, работа в автономном режиме и отсутствие зависимостей Многие интеллектуальные функции предоставляют сторонние сервисы. Благодаря отказу от отправки данных в облако, снижается риск утечек и юридических проблем.
Когда Apple приходится использовать более крупные модели, которые не помещаются в корпус устройства, компания прибегает к своим собственным методам. Частные облачные вычисленияИдея заключается в том, что серверы не знают, кто вы и что обрабатываете; они просто получают пакет анонимных данных, запускают модель и возвращают результат, ничего не сохраняя. Кроме того, эти серверы работают на оборудовании с чипами Apple и имеют открытые системы аудита, чтобы эксперты по безопасности могли их проверять.
Интеграция со сторонними сервисами, например, соглашение с OpenAI об использовании ChatGPT в отдельных случаях, всегда осуществляется через Siri или системные инструменты, при этом система явно спрашивает, хотите ли вы отправить информацию. Тем не менее, это не обязательно. создать учетную запись в ChatGPT Для использования основных функций можно подключить одну из них, хотя при желании можно получить доступ к более продвинутым инструментам.
В будущем Apple планирует разрешить интеграцию в эту схему и других моделей: от альтернатив, таких как Google Gemini, до открытых моделей, таких как Llama. Идея заключается в том, что Siri и Apple Intelligence будут выступать в качестве «уровня координации» над этими моделями, обеспечивая согласованный пользовательский опыт и, насколько это возможно, соблюдение стандартов конфиденциальности компании.
Примеры использования в продуктах и профессиональном развитии
В повседневной работе машинное обучение в Apple находит отражение в таких разнообразных функциях, как... обнаружение столкновений с iPhone и Apple Watch, предиктивный ввод текста на клавиатуре, программное улучшение фотографий, рекомендации Apple Music или предложения популярных мест в Картах в определенное время.
Для бизнеса и разработчиков экосистема машинного обучения Apple открывает двери для целого ряда проектов: классификация изображений для каталогов товаров, локальные системы рекомендаций, автоматический анализ документов, внутренние диалоговые помощники, агенты, автоматизирующие рутинные процессы, или обнаружение акустических событий в реальном времени.
Специализированные фирмы, такие как Q2BSTUDIO Они используют такие технологии, как Core ML, Create ML, Vision, Natural Language и SoundAnalysis, для создания индивидуальных решений, а также интегрируют облачные инфраструктуры (AWS, Azure) при необходимости облачной обработки или гибридного развертывания. Кроме того, они сочетают эти модели с инструментами от различных компаний. бизнес-аналитика и Power BI Преобразовать прогнозы в практические решения.
Ещё один часто задаваемый вопрос: стоит ли его использовать? MacBook для машинного обученияМногие пользователи ценят время автономной работы, портативность и общее удобство использования по сравнению с громоздкими ноутбуками на Windows. Однако для очень больших моделей более практичными остаются выделенные рабочие станции или облачные сервисы. Компьютеры Mac с чипом M Они продемонстрировали очень хорошие результаты при обучении небольших и средних объемов данных, локальной разработке, прототипировании и запуске оптимизированных моделей с использованием MLX или Core ML.
Потенциальные недостатки по сравнению с Linux или Windows обычно связаны с совместимостью конкретных библиотек или с тем фактом, что некоторые инструменты в первую очередь предназначены для графических процессоров NVIDIA, но поддержка Apple через Metal и собственная экосистема машинного обучения довольно быстро сокращают этот разрыв.
Вся эта сеть технологий, от небольших моделей устройств до Apple Intelligence и частных облачных вычислений, создает картину, в которой Искусственный интеллект Apple проникает практически во все уголки системы. сделать взаимодействие более удобным, персонализированным и одновременно более безопасным, с целью, чтобы как пользователи, так и разработчики могли полагаться на машинное обучение, не жертвуя конфиденциальностью и не сталкиваясь с излишней сложностью.
