Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация и совместной работе в технологической революции
В полной цепочке создания ценности ИИ модельное обучение является этапом с наибольшими затратами ресурсов и наивысшими техническими барьерами, что напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных крупных затрат вычислительных ресурсов, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в строительстве систем ИИ. С точки зрения архитектурных парадигм методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, когда все процессы обучения выполняются единственным учреждением на локальном высокопроизводительном кластере, включая аппаратное обеспечение, программное обеспечение нижнего уровня, системы управления кластерами и все компоненты обучающей структуры, которые координируются единой контрольной системой. Эта глубоко согласованная архитектура позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и контроля ресурсов, но одновременно существуют проблемы, такие как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки отказа.
Распределённое обучение является основным методом обучения крупных моделей, его суть заключается в разбиении задачи обучения модели на части и распределении их для совместного выполнения на нескольких машинах, чтобы преодолеть ограничения вычислений и хранения на одной машине. Несмотря на то, что в физическом плане оно обладает "Децентрализация" характеристиками, в целом всё ещё контролируется и координируется централизованными организациями, часто работает в среде высокоскоростной локальной сети, используя технологии высокоскоростной межсоединительной шины NVLink, при этом главный узел координирует выполнение всех подзадач. Основные методы включают:
Данные параллельно: каждый узел обучает разные данные, параметры делятся, необходимо соответствие весов модели.
Модельное параллельное выполнение: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости;
Параллелизм трубопроводов: поэтапное последовательное выполнение, увеличение пропускной способности;
Тензорное параллелизм: тонкая сегментация матричных вычислений, повышение степени параллелизма.
Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно руководит сотрудничеством сотрудников нескольких "офисов" для выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевыми характеристиками являются: несколько недоверяющих друг другу узлов совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, а также с использованием механизмов криптоощущения для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач;
Бутылочное горлышко в эффективности связи: нестабильная сетевая связь, очевидное бутылочное горлышко в синхронизации градиентов;
Отсутствие доверяемого исполнения: отсутствие доверяемой среды исполнения, трудно проверить, действительно ли узлы участвуют в вычислениях;
Недостаток единой координации: нет центрального диспетчера, распределение задач и механизмы отката ошибок сложные.
Децентрализация обучения можно понять как: группа волонтеров со всего мира, которые совместно вносят вычислительную мощность для обучения модели, но "действительно жизнеспособное крупномасштабное децентрализованное обучение" по-прежнему представляет собой системную инженерную задачу, охватывающую такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, проверка моделей и т.д., но возможность "совместной эффективности + мотивации честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенными системами и Децентрализацией, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что делает его подходящим для сценариев, ориентированных на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных в Децентрализации, но все же зависит от надежной координирующей стороны и не обладает полностью открытыми и антицензурными характеристиками. Его можно рассматривать как "контролируемую Децентрализацию" в условиях соблюдения конфиденциальности, с относительно умеренными требованиями к задачам обучения, структуре доверия и механизмам связи, что делает его более подходящим в качестве переходной архитектуры для промышленного применения.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или больших трудностей в сотрудничестве, она изначально не подходит для эффективного выполнения на гетерогенных, доверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное деление и синхронизацию в открытых сетях; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ограничены юридической соблюдаемостью и этическими нормами, что делает невозможным открытое совместное использование; а задачи, которые не имеют стимулов для сотрудничества, лишены внешней мотивации для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является мнимой задачей. На самом деле, в задачах с легкой структурой, легкой параллельностью и возможностью мотивации, Децентрализация обучения демонстрирует ясные перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи дообучения, связанные с выравниванием поведения, задачи обучения и аннотирования данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи в целом обладают высокой параллельностью, низкой связанностью и толерантностью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и другие методы.
В настоящее время среди ведущих проектов в области Децентрализации обучения и федеративного обучения можно выделить Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерного исполнения, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмирования, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первоначальные успехи в инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также дополнительно исследованы их различия и взаимодополняющие отношения в системе Децентрализованного AI обучения.
Prime Intellect: Пионер сети совместного обучения с подкреплением, в которой можно проверять траектории обучения.
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя каждому участвовать в обучении и получать заслуженные вознаграждения за свои вычислительные вклады. Prime Intellect надеется построить систему децентрализованного обучения ИИ с тремя основными модулями: PRIME-RL + TOPLOC + SHARDCAST, которая будет обладать проверяемостью, открытостью и полным механизмом стимулов.
Од, Структура и ключевая ценность протокола Prime Intellect
Два, Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Декуплированная асинхронная архитектура задач обучения с подкреплением
PRIME-RL является рамочным решением для моделирования и выполнения задач, разработанным Prime Intellect для децентрализованных учебных сценариев, специально предназначенным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо завершать циклы задач на локальном уровне и сотрудничать через стандартизированные интерфейсы с механизмами валидации и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения тренировок
TOPLOC — это основная механика верифицируемости, предложенная Prime Intellect, предназначенная для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "наблюдательными последовательностями ↔ обновлением стратегии". Она впервые преобразует поведенческие траектории в процессе обучения в верифицируемые объекты, что является ключевым новшеством для реализации распределения вознаграждений за обучение без доверия, предоставляя выполнимый путь для создания可审计,可激励的 Децентрализация协作训练网络.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегирования весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронностью, ограниченной пропускной способностью и изменчивыми состояниями узлов. Он сочетает в себе механизм распространения gossip и локальную стратегию синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированного фреймворка связи, разработанного командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, и предназначен для решения распространенных проблем в децентрализованном обучении, таких как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов. Его архитектура основана на параллелизме данных, путем построения разреженных топологических структур, таких как Ring, Expander, Small-World, что позволяет избежать высоких затрат на связь при глобальной синхронизации и завершить совместное обучение модели, полагаясь только на локальных соседних узлов. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального кооперативного обучения и являясь одной из ключевых коммуникационных инфраструктур для создания децентрализованной обучающей сети.
PCCL: Библиотека совместной связи
PCCL является легковесной библиотекой связи, разработанной Prime Intellect для децентрализованной среды обучения AI, предназначенной для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает толерантность сети к пропускной способности и совместимость устройств, открывая "последнюю милю" связи для построения действительно открытой, не требующей доверия сети совместного обучения.
Три, Интеллект Прайм и распределение ролей в сети стимулов
Prime Intellect создал тренировочную сеть, не требующую разрешения, проверяемую и имеющую экономические стимулы, позволяя каждому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определить тренировочную среду, начальную модель, функцию вознаграждения и стандарты валидации
Обучающие узлы: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы верификации: использование механизма TOPLOC для проверки подлинности обучающего поведения и участия в расчете вознаграждений и агрегации стратегий.
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов и распределение вознаграждений, образуя замкнутый круг стимулов вокруг "реального тренировочного поведения".
Четыре, INTELLECT-2: первый выпущенный проверяемый децентрализованный обучающий модель
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, созданная с помощью асинхронного, не требующего доверия, Децентрализация узлового сотрудничества. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения составило более 400 часов, что продемонстрировало целесообразность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и первым системным воплощением парадигмы "обучение как консенсус", предложенной Prime Intellect. INTELLECT-2 интегрирует ключевые модульные протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой Децентрализация обучения.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Революция в парадигме обучения ИИ: от централизованного контроля к Децентрализация сотрудничества
Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация и совместной работе в технологической революции
В полной цепочке создания ценности ИИ модельное обучение является этапом с наибольшими затратами ресурсов и наивысшими техническими барьерами, что напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных крупных затрат вычислительных ресурсов, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в строительстве систем ИИ. С точки зрения архитектурных парадигм методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, когда все процессы обучения выполняются единственным учреждением на локальном высокопроизводительном кластере, включая аппаратное обеспечение, программное обеспечение нижнего уровня, системы управления кластерами и все компоненты обучающей структуры, которые координируются единой контрольной системой. Эта глубоко согласованная архитектура позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и контроля ресурсов, но одновременно существуют проблемы, такие как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки отказа.
Распределённое обучение является основным методом обучения крупных моделей, его суть заключается в разбиении задачи обучения модели на части и распределении их для совместного выполнения на нескольких машинах, чтобы преодолеть ограничения вычислений и хранения на одной машине. Несмотря на то, что в физическом плане оно обладает "Децентрализация" характеристиками, в целом всё ещё контролируется и координируется централизованными организациями, часто работает в среде высокоскоростной локальной сети, используя технологии высокоскоростной межсоединительной шины NVLink, при этом главный узел координирует выполнение всех подзадач. Основные методы включают:
Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно руководит сотрудничеством сотрудников нескольких "офисов" для выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевыми характеристиками являются: несколько недоверяющих друг другу узлов совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, а также с использованием механизмов криптоощущения для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация обучения можно понять как: группа волонтеров со всего мира, которые совместно вносят вычислительную мощность для обучения модели, но "действительно жизнеспособное крупномасштабное децентрализованное обучение" по-прежнему представляет собой системную инженерную задачу, охватывающую такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, проверка моделей и т.д., но возможность "совместной эффективности + мотивации честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенными системами и Децентрализацией, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что делает его подходящим для сценариев, ориентированных на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных в Децентрализации, но все же зависит от надежной координирующей стороны и не обладает полностью открытыми и антицензурными характеристиками. Его можно рассматривать как "контролируемую Децентрализацию" в условиях соблюдения конфиденциальности, с относительно умеренными требованиями к задачам обучения, структуре доверия и механизмам связи, что делает его более подходящим в качестве переходной архитектуры для промышленного применения.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или больших трудностей в сотрудничестве, она изначально не подходит для эффективного выполнения на гетерогенных, доверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное деление и синхронизацию в открытых сетях; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ограничены юридической соблюдаемостью и этическими нормами, что делает невозможным открытое совместное использование; а задачи, которые не имеют стимулов для сотрудничества, лишены внешней мотивации для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является мнимой задачей. На самом деле, в задачах с легкой структурой, легкой параллельностью и возможностью мотивации, Децентрализация обучения демонстрирует ясные перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи дообучения, связанные с выравниванием поведения, задачи обучения и аннотирования данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи в целом обладают высокой параллельностью, низкой связанностью и толерантностью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов解析
В настоящее время среди ведущих проектов в области Децентрализации обучения и федеративного обучения можно выделить Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерного исполнения, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмирования, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первоначальные успехи в инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также дополнительно исследованы их различия и взаимодополняющие отношения в системе Децентрализованного AI обучения.
Prime Intellect: Пионер сети совместного обучения с подкреплением, в которой можно проверять траектории обучения.
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя каждому участвовать в обучении и получать заслуженные вознаграждения за свои вычислительные вклады. Prime Intellect надеется построить систему децентрализованного обучения ИИ с тремя основными модулями: PRIME-RL + TOPLOC + SHARDCAST, которая будет обладать проверяемостью, открытостью и полным механизмом стимулов.
Од, Структура и ключевая ценность протокола Prime Intellect
Два, Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Декуплированная асинхронная архитектура задач обучения с подкреплением
PRIME-RL является рамочным решением для моделирования и выполнения задач, разработанным Prime Intellect для децентрализованных учебных сценариев, специально предназначенным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо завершать циклы задач на локальном уровне и сотрудничать через стандартизированные интерфейсы с механизмами валидации и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения тренировок
TOPLOC — это основная механика верифицируемости, предложенная Prime Intellect, предназначенная для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "наблюдательными последовательностями ↔ обновлением стратегии". Она впервые преобразует поведенческие траектории в процессе обучения в верифицируемые объекты, что является ключевым новшеством для реализации распределения вознаграждений за обучение без доверия, предоставляя выполнимый путь для создания可审计,可激励的 Децентрализация协作训练网络.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегирования весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронностью, ограниченной пропускной способностью и изменчивыми состояниями узлов. Он сочетает в себе механизм распространения gossip и локальную стратегию синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная рамка
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированного фреймворка связи, разработанного командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, и предназначен для решения распространенных проблем в децентрализованном обучении, таких как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов. Его архитектура основана на параллелизме данных, путем построения разреженных топологических структур, таких как Ring, Expander, Small-World, что позволяет избежать высоких затрат на связь при глобальной синхронизации и завершить совместное обучение модели, полагаясь только на локальных соседних узлов. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального кооперативного обучения и являясь одной из ключевых коммуникационных инфраструктур для создания децентрализованной обучающей сети.
PCCL: Библиотека совместной связи
PCCL является легковесной библиотекой связи, разработанной Prime Intellect для децентрализованной среды обучения AI, предназначенной для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает толерантность сети к пропускной способности и совместимость устройств, открывая "последнюю милю" связи для построения действительно открытой, не требующей доверия сети совместного обучения.
Три, Интеллект Прайм и распределение ролей в сети стимулов
Prime Intellect создал тренировочную сеть, не требующую разрешения, проверяемую и имеющую экономические стимулы, позволяя каждому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов и распределение вознаграждений, образуя замкнутый круг стимулов вокруг "реального тренировочного поведения".
Четыре, INTELLECT-2: первый выпущенный проверяемый децентрализованный обучающий модель
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, созданная с помощью асинхронного, не требующего доверия, Децентрализация узлового сотрудничества. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения составило более 400 часов, что продемонстрировало целесообразность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и первым системным воплощением парадигмы "обучение как консенсус", предложенной Prime Intellect. INTELLECT-2 интегрирует ключевые модульные протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой Децентрализация обучения.