Святой Грааль Crypto AI: передовые исследования Децентрализации обучения
В полной цепочке создания стоимости ИИ обучение моделей является этапом с наибольшими затратами ресурсов и наивысшими техническими барьерами, который непосредственно определяет предельные возможности модели и фактическую эффективность применения. По сравнению с легковесными вызовами на этапе вывода, процесс обучения требует постоянных инвестиций в крупномасштабные вычислительные мощности, сложных процессов обработки данных и интенсивной поддержки оптимизационных алгоритмов, что является настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основной темой данного исследования.
Концентрированное обучение — это самый распространенный традиционный способ, при котором весь процесс обучения выполняется единственной организацией в локальном высокопроизводительном кластере, включая оборудование, базовое программное обеспечение, систему управления кластерами и все компоненты учебной платформы, которые координируются единой управляющей системой. Такая глубоко согласованная архитектура позволяет достичь максимальной эффективности совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее особенно подходящей для обучения масштабных моделей, таких как GPT и Gemini, обладая высокими показателями эффективности и контролируемыми ресурсами, однако также существует ряд проблем, таких как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Хотя физически он обладает "Децентрализация" характеристиками, в целом он по-прежнему контролируется централизованным органом, который управляет и синхронизирует, обычно функционируя в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, при этом главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Модельное параллелизм: распределение различных частей модели на разные узлы для достижения высокой масштабируемости
Параллельный канал: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллельное выполнение: уточненная сегментация матричных вычислений, повышение степени параллелизма
Распределённое обучение представляет собой комбинацию "централизованного управления + распределённого выполнения", аналогично тому, как один и тот же начальник удалённо управляет совместной работой сотрудников нескольких "офисов" для завершения задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки означает более открытую и устойчивую к цензуре будущую траекторию. Ее ключевыми характеристиками являются: несколько недоверяющих друг другу узлов, которые совместно выполняют задачи тренировки без центрального координатора, обычно распределяя задачи и сотрудничая через протоколы, а также обеспечивая честность вклада с помощью криптоощущающих механизмов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и сложность их разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Узкие места в эффективности связи: нестабильная сеть, очевидные узкие места в синхронизации градиентов
Недостаток доверенного выполнения: отсутствие доверенной вычислительной среды затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
Недостаток единой координации: отсутствие центрального диспетчера, сложное распределение задач и механизм отката при аномалиях
Децентрализация тренировки может пониматься как: группа глобальных волонтеров, которые совместно вносят вычислительные мощности для тренировки модели, но "по-настоящему осуществимая массовая децентрализованная тренировка" все еще является системной инженерной задачей, охватывающей такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и многие другие, но возможность "совместной эффективности + стимула к честности + правильности результатов" все еще находится на ранней стадии прототипирования.
Федеративное обучение как переходная форма между распределенными и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и способностью к локальной кооперации, одновременно имея преимущества распределенных данных в обучении, но все еще зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, с относительно умеренными задачами обучения, структурами доверия и механизмами связи, более подходящими в качестве переходной архитектуры для промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или высокой сложности сотрудничества, она естественно не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высоких объемов видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи, сильно ограниченные конфиденциальностью данных и суверенными ограничениями, ограничены юридическими и этическими нормами, что делает невозможным открытое совместное использование; а задачи, лишенные основ для кооперативных стимулов, не имеют внешнего мотива для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения — это ложное утверждение. На самом деле, в задачах с легкой структурой, простых для параллелизации и мотивированных, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи постобучения с выравниванием поведения, обучение и аннотирование данных через краудсорсинг, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно имеют высокую параллельность, низкую связанность и терпимость к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмного дизайна, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть предварительный прогресс в инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры за этими пятью проектами, а также дополнительно обсуждены их различия и взаимодополняющие отношения в системе децентрализованного AI-обучения.
Prime Intellect: проверяемые траектории обучения в расширенной сети сотрудничества
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя всем участвовать в обучении и получать заслуженные вознаграждения за свои вычислительные вложения. Prime Intellect надеется создать систему децентрализованного обучения ИИ с полной проверяемостью, открытостью и механизмами мотивации, используя три основных модуля: PRIME-RL, TOPLOC и SHARDCAST.
01、Структура и ключевые модули протокола Prime Intellect
Стек протоколов Prime Intellect включает три ключевых модуля: PRIME-RL, TOPLOC и SHARDCAST, которые решают проблемы асинхронного обучения, доверенной верификации и распространения весов.
02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Разделенная асинхронная архитектура задач обучения с подкреплением
PRIME-RL является фреймворком моделирования задач и выполнения задач, разработанным Prime Intellect для Децентрализация тренировочных сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптируемого объекта, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо завершать цикл задач локально и сотрудничать с механизмами проверки и агрегации через стандартизированные интерфейсы. По сравнению с традиционным процессом обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, снижая сложность системы и закладывая основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения тренировки
TOPLOC — это основная механика тренировки с проверяемостью, предложенная Prime Intellect, предназначенная для определения того, завершил ли узел эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторных вычислений всей модели, а выполняет легковесную структуру проверки, анализируя локальные последовательности согласованности между "наблюдательными последовательностями ↔ обновлениями стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для построения可审计、可激励的 Децентрализация协作训练网络.
SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронных, ограниченных по полосе пропускания и изменяющихся по состоянию узлов реальных сетевых условий. Он сочетает в себе механизм распространения gossip и локальную стратегию синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронизации, достигая прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса весов и непрерывной итерации обучения.
OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная платформа, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, специально созданная для решения распространенных проблем с ограниченной пропускной способностью, гетерогенностью устройств и нестабильностью узлов в процессе Децентрализации обучения. Архитектура основана на параллельной обработке данных, строя разреженные топологические структуры, такие как Ring, Expander, Small-World, избегая высоких коммуникационных затрат глобальной синхронизации, полагаясь только на локальных соседей узлов для совместного обучения модели. В сочетании с асинхронными обновлениями и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно увеличивая доступность глобального совместного обучения и становясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализации обучения.
PCCL: Библиотека совместной связи
PCCL — это легковесная коммуникационная библиотека, созданная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных коммуникационных библиотек на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, и является базовым компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Это значительно увеличивает толерантность сети к пропускной способности и совместимость с устройствами, прокладывая "последнюю милю" коммуникационной инфраструктуры для построения действительно открытой, бездоверительной сети совместного обучения.
03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создал сеть обучения, не требующую разрешений,可验证ную и обладающую экономическими стимулами, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определяет тренировочную среду, начальную модель, функцию вознаграждения и стандарты валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы проверки: Использование механизма TOPLOC для проверки достоверности тренировочного поведения и участие в расчете вознаграждений и агрегации стратегий.
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, что формирует замкнутый цикл стимулов вокруг "реального обучающего поведения".
04, INTELLECT-2: Выпуск первой проверяемой модели децентрализации для обучения
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, созданная при помощи асинхронного, бездоверительного Децентрализация узлового сотрудничества, с масштабом параметров 32B. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения составило более 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и впервые системно реализует предложенную Prime Intellect парадигму "обучение равно консенсус". INTELLECT-2 интегрировала ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что ознаменовало собой первое достижение открытости, верифицируемости и замкнутого экономического стимула в процессе обучения в сети Децентрализация.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
10 Лайков
Награда
10
6
Поделиться
комментарий
0/400
GasFeeCrier
· 08-03 11:45
А эта ИИ тренировка, наверное, потребовала много вычислительной мощности?
Посмотреть ОригиналОтветить0
ChainMaskedRider
· 08-03 11:44
Меньше говори о том, что не умеешь пользоваться этой ловушкой.
Посмотреть ОригиналОтветить0
GateUser-40edb63b
· 08-03 11:36
С ума сошел?
Посмотреть ОригиналОтветить0
SillyWhale
· 08-03 11:36
Вот это и называется Децентрализация? Лучше бы назвали Вычислительная мощность демократизация.
Посмотреть ОригиналОтветить0
TestnetScholar
· 08-03 11:28
Монополия на вычислительную мощность является корнем проблемы, не так ли?
Посмотреть ОригиналОтветить0
P2ENotWorking
· 08-03 11:27
А какая от этого польза, ведь всё равно нужно использовать большие модели без оплаты?
Децентрализация AI тренировки прорыв: Prime Intellect ведет новый парадигму кооперативной сети
Святой Грааль Crypto AI: передовые исследования Децентрализации обучения
В полной цепочке создания стоимости ИИ обучение моделей является этапом с наибольшими затратами ресурсов и наивысшими техническими барьерами, который непосредственно определяет предельные возможности модели и фактическую эффективность применения. По сравнению с легковесными вызовами на этапе вывода, процесс обучения требует постоянных инвестиций в крупномасштабные вычислительные мощности, сложных процессов обработки данных и интенсивной поддержки оптимизационных алгоритмов, что является настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основной темой данного исследования.
Концентрированное обучение — это самый распространенный традиционный способ, при котором весь процесс обучения выполняется единственной организацией в локальном высокопроизводительном кластере, включая оборудование, базовое программное обеспечение, систему управления кластерами и все компоненты учебной платформы, которые координируются единой управляющей системой. Такая глубоко согласованная архитектура позволяет достичь максимальной эффективности совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее особенно подходящей для обучения масштабных моделей, таких как GPT и Gemini, обладая высокими показателями эффективности и контролируемыми ресурсами, однако также существует ряд проблем, таких как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Хотя физически он обладает "Децентрализация" характеристиками, в целом он по-прежнему контролируется централизованным органом, который управляет и синхронизирует, обычно функционируя в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, при этом главный узел координирует все подзадачи. Основные методы включают:
Распределённое обучение представляет собой комбинацию "централизованного управления + распределённого выполнения", аналогично тому, как один и тот же начальник удалённо управляет совместной работой сотрудников нескольких "офисов" для завершения задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки означает более открытую и устойчивую к цензуре будущую траекторию. Ее ключевыми характеристиками являются: несколько недоверяющих друг другу узлов, которые совместно выполняют задачи тренировки без центрального координатора, обычно распределяя задачи и сотрудничая через протоколы, а также обеспечивая честность вклада с помощью криптоощущающих механизмов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может пониматься как: группа глобальных волонтеров, которые совместно вносят вычислительные мощности для тренировки модели, но "по-настоящему осуществимая массовая децентрализованная тренировка" все еще является системной инженерной задачей, охватывающей такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и многие другие, но возможность "совместной эффективности + стимула к честности + правильности результатов" все еще находится на ранней стадии прототипирования.
Федеративное обучение как переходная форма между распределенными и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и способностью к локальной кооперации, одновременно имея преимущества распределенных данных в обучении, но все еще зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, с относительно умеренными задачами обучения, структурами доверия и механизмами связи, более подходящими в качестве переходной архитектуры для промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или высокой сложности сотрудничества, она естественно не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высоких объемов видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи, сильно ограниченные конфиденциальностью данных и суверенными ограничениями, ограничены юридическими и этическими нормами, что делает невозможным открытое совместное использование; а задачи, лишенные основ для кооперативных стимулов, не имеют внешнего мотива для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения — это ложное утверждение. На самом деле, в задачах с легкой структурой, простых для параллелизации и мотивированных, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи постобучения с выравниванием поведения, обучение и аннотирование данных через краудсорсинг, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно имеют высокую параллельность, низкую связанность и терпимость к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмного дизайна, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть предварительный прогресс в инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры за этими пятью проектами, а также дополнительно обсуждены их различия и взаимодополняющие отношения в системе децентрализованного AI-обучения.
Prime Intellect: проверяемые траектории обучения в расширенной сети сотрудничества
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя всем участвовать в обучении и получать заслуженные вознаграждения за свои вычислительные вложения. Prime Intellect надеется создать систему децентрализованного обучения ИИ с полной проверяемостью, открытостью и механизмами мотивации, используя три основных модуля: PRIME-RL, TOPLOC и SHARDCAST.
01、Структура и ключевые модули протокола Prime Intellect
Стек протоколов Prime Intellect включает три ключевых модуля: PRIME-RL, TOPLOC и SHARDCAST, которые решают проблемы асинхронного обучения, доверенной верификации и распространения весов.
02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Разделенная асинхронная архитектура задач обучения с подкреплением
PRIME-RL является фреймворком моделирования задач и выполнения задач, разработанным Prime Intellect для Децентрализация тренировочных сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптируемого объекта, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо завершать цикл задач локально и сотрудничать с механизмами проверки и агрегации через стандартизированные интерфейсы. По сравнению с традиционным процессом обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, снижая сложность системы и закладывая основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения тренировки
TOPLOC — это основная механика тренировки с проверяемостью, предложенная Prime Intellect, предназначенная для определения того, завершил ли узел эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторных вычислений всей модели, а выполняет легковесную структуру проверки, анализируя локальные последовательности согласованности между "наблюдательными последовательностями ↔ обновлениями стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для построения可审计、可激励的 Децентрализация协作训练网络.
SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронных, ограниченных по полосе пропускания и изменяющихся по состоянию узлов реальных сетевых условий. Он сочетает в себе механизм распространения gossip и локальную стратегию синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронизации, достигая прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса весов и непрерывной итерации обучения.
OpenDiLoCo:Разреженная асинхронная коммуникационная платформа
OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная платформа, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, специально созданная для решения распространенных проблем с ограниченной пропускной способностью, гетерогенностью устройств и нестабильностью узлов в процессе Децентрализации обучения. Архитектура основана на параллельной обработке данных, строя разреженные топологические структуры, такие как Ring, Expander, Small-World, избегая высоких коммуникационных затрат глобальной синхронизации, полагаясь только на локальных соседей узлов для совместного обучения модели. В сочетании с асинхронными обновлениями и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно увеличивая доступность глобального совместного обучения и становясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализации обучения.
PCCL: Библиотека совместной связи
PCCL — это легковесная коммуникационная библиотека, созданная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных коммуникационных библиотек на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, и является базовым компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Это значительно увеличивает толерантность сети к пропускной способности и совместимость с устройствами, прокладывая "последнюю милю" коммуникационной инфраструктуры для построения действительно открытой, бездоверительной сети совместного обучения.
03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создал сеть обучения, не требующую разрешений,可验证ную и обладающую экономическими стимулами, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, что формирует замкнутый цикл стимулов вокруг "реального обучающего поведения".
04, INTELLECT-2: Выпуск первой проверяемой модели децентрализации для обучения
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, созданная при помощи асинхронного, бездоверительного Децентрализация узлового сотрудничества, с масштабом параметров 32B. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения составило более 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и впервые системно реализует предложенную Prime Intellect парадигму "обучение равно консенсус". INTELLECT-2 интегрировала ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что ознаменовало собой первое достижение открытости, верифицируемости и замкнутого экономического стимула в процессе обучения в сети Децентрализация.
На стороне производительности