Еволюція парадигми навчання ШІ: від централізованого контролю до децентралізованої кооперації технологічної революції
У всьому ціннісному ланцюгу AI навчання моделей є найбільш ресурсомістким і з найвищими технологічними бар'єрами етапом, що безпосередньо визначає верхню межу можливостей моделі та фактичну ефективність застосування. У порівнянні зі стадією висновку, яка є легковаговою, процес навчання вимагає постійних масштабних вкладень обчислювальних потужностей, складних процесів обробки даних та інтенсивної підтримки алгоритмів оптимізації, що є справжньою "важкою промисловістю" системи AI. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Концентрована тренування є найпоширенішим традиційним способом, що виконується єдиною установою в локальному високопродуктивному кластері, де весь процес тренування, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи управління кластером до всіх компонентів тренувальної рамки, координується єдиною контрольованою системою. Така глибока співпраця архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її надзвичайно підходящою для тренування великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованості ресурсів, але водночас має проблеми з монополізацією даних, бар'єрами для ресурсів, споживанням енергії та ризиками єдиної точки.
Розподілене навчання є основним методом навчання великих моделей, його суть полягає у розподілі завдань навчання моделі на кілька машин, щоб подолати обмеження обчислень та зберігання на одному комп'ютері. Незважаючи на те, що фізично воно має "розподілені" характеристики, в цілому все ще контролюється централізованими організаціями, які здійснюють управління та синхронізацію, і зазвичай працює в середовищі з високошвидкісними локальними мережами, використовуючи технологію високошвидкісної міжмашинної зв'язку NVLink, де головний вузол координує всі підзавдання. Основні методи включають:
Паралельність даних: кожен вузол тренує різні дані, параметри яких спільні, потрібно співвіднести ваги моделі
Модульна паралельність: розміщення різних частин моделі на різних вузлах для досягнення високої масштабованості;
Тензорна паралельність: тонке розбиття матричних обчислень, підвищення паралельного гранularity.
Розподілене навчання є комбінацією "централізоване управління + розподілене виконання", аналогічно тому, як один бос віддалено керує співробітниками кількох "офісів" для виконання завдання. В даний час практично всі основні великі моделі навчаються саме цим способом.
Децентралізація тренування означає більш відкритий і стійкий до цензури майбутній шлях. Його ключовою особливістю є: кілька недовірливих вузлів спільно виконують завдання тренування без центрального координатора, зазвичай за допомогою протоколу для розподілу завдань і співпраці, а також завдяки механізму криптостимулювання, який забезпечує чесність внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв і складність розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань;
Вузьке місце в ефективності зв'язку: нестабільність мережевої комунікації, явне вузьке місце в синхронізації градієнтів;
Відсутність надійного виконання: відсутність надійного середовища виконання ускладнює перевірку того, чи дійсно вузол бере участь у обчисленнях;
Відсутність єдиної координації: немає центрального диспетчера, розподіл завдань, механізм відкату аномалій складний.
Децентралізоване навчання можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справді здійсненне великомасштабне децентралізоване навчання" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але чи можливо "спільно ефективно + стимулювати чесність + отримати правильні результати" поки що перебуває на ранній стадії експериментального дослідження.
Федеративне навчання як перехідна форма між дистрибуцією та децентралізацією підкреслює збереження даних локально, централізовану агрегацію параметрів моделі, підходить для сцен, що акцентують на дотриманні конфіденційності. Федеративне навчання має інженерну структуру дистрибуційного навчання та локальні кооперативні можливості, одночасно маючи переваги дистрибуційного навчання в розподілі даних, але все ще залежить від надійних координуючих сторін і не має повністю відкритих і антикорупційних характеристик. Це можна розглядати як "контрольовану децентралізацію" в сценаріях дотримання конфіденційності, де навчальні завдання, структура довіри та комунікаційні механізми є відносно м'якими, що робить його більш придатним для перехідної архітектури в промисловості.
Децентралізація тренувань: межі, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або значні труднощі в співпраці, воно природно не підходить для ефективного виконання на гетерогенних, недовірених вузлах. Наприклад, навчання великих моделей часто залежить від високої відеопам'яті, низької затримки та швидкісної пропускної здатності, що ускладнює ефективне розподіл та синхронізацію в відкритій мережі; завдання, що мають сильні обмеження щодо конфіденційності даних та суверенітету, обмежені юридичними вимогами та етичними нормами, тому не можуть бути відкритими для спільного використання; а завдання, що не мають основи для співпраці, не мають зовнішніх стимулів для участі. Ці межі спільно складають реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдозадачею. Насправді, у типах завдань із легкою структурою, які легко паралелізуються та можуть бути стимульовані, децентралізоване навчання демонструє чітку перспективу застосування. Сюди входять, але не обмежуються: налаштування LoRA, завдання після навчання з поведінковим вирівнюванням, навчання та маркування даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сцени спільного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність та толерантність до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для кооперативного навчання через P2P-мережі, протокол Swarm, розподілені оптимізатори та інші способи.
Децентралізація тренування класичних проектів解析
На сьогодні в області децентралізованого навчання та федеративного навчання провідними блокчейн-проектами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та проєктуванні алгоритмів, що представляє сучасні теоретичні дослідження; в той час як реалізаційні шляхи Gensyn та Flock.io є відносно зрозумілими, і вже можна побачити перші успіхи в інженерній реалізації. У цій статті буде поетапно розглянуто основні технології та інженерні архітектури п'яти проектів, а також подальше обговорення їх відмінностей та взаємодоповнюючих відносин у децентралізованій системі AI навчання.
Prime Intellect: Тренувальні траєкторії можуть бути перевірені в посиленому навчанні спільної мережі піонерів
Prime Intellect прагне створити мережу тренування штучного інтелекту, яка не потребує довіри, дозволяючи будь-кому брати участь у тренуванні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему тренування штучного інтелекту з перевіряємими, відкритими та повноцінними механізмами стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
Один, структура стеку протоколу Prime Intellect та цінність ключових модулів
Друге, детальний опис ключових механізмів навчання Prime Intellect
PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є фреймворком моделювання завдань та їх виконання, розробленим Prime Intellect для децентралізованих навчальних сценаріїв, спеціально створеним для гетерогенних мереж та асинхронних учасників. Він використовує підкріплювальне навчання як пріоритетний адаптивний об'єкт, структурно декомпонує процеси навчання, виведення та завантаження ваг, дозволяючи кожному навчальному вузлу незалежно завершувати цикли завдань локально і взаємодіяти через стандартизований інтерфейс з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL більше підходить для забезпечення гнучкого навчання в середовищах без централізованого розподілу, знижуючи складність системи і закладаючи основу для підтримки паралельного виконання багатьох завдань та еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренувань
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол на основі спостережуваних даних виконав ефективне навчання стратегій. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а проводить легку валідацію структури, аналізуючи локальні узгодження між "послідовностями спостережень ↔ оновленням стратегій". Він вперше перетворює поведінкові траєкторії під час навчання на перевіряємі об'єкти, що є ключовою інновацією для реалізації розподілу винагород за навчання без довіри, забезпечуючи життєздатний шлях для створення аудиторських, стимулюючих децентралізованих кооперативних навчальних мереж.
SHARDCAST: асинхронний зважений агрегат та протокол поширення
SHARDCAST є протоколом вагового розповсюдження та агрегації, розробленим Prime Intellect, спеціально оптимізованим для асинхронних, обмежених за смугою та з мінливим станом вузлів реальних мережевих середовищ. Він поєднує механізм gossipping та локальні стратегії синхронізації, що дозволяє кільком вузлам продовжувати надсилати часткові оновлення в умовах асинхронного стану, досягаючи поступової конвергенції ваги та еволюції кількох версій. У порівнянні з централізованими або синхронізованими методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваги та безперервних ітерацій навчання.
OpenDiLoCo є комунікаційною оптимізаційною структурою, незалежно реалізованою та відкритою командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленою для вирішення таких викликів, як обмежена пропускна спроможність, гетерогенність пристроїв та нестабільність вузлів, які часто виникають у децентралізованому навчанні. Його архітектура базується на паралельному обробленні даних, шляхом створення розріджених топологічних структур, таких як Ring, Expander, Small-World, що дозволяє уникнути високих витрат на комунікацію від глобальної синхронізації, і для спільного навчання моделей покладається лише на сусідні локальні вузли. Об'єднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, суттєво підвищуючи можливість участі в глобальному кооперативному навчанні, що робить його однією з ключових комунікаційних інфраструктур для створення мережі децентралізованого навчання.
PCCL: Бібліотека синхронного зв'язку
PCCL є легковаговою комунікаційною бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання AI, метою якої є вирішення адаптаційних вузьких місць традиційних комунікаційних бібліотек у гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з точки зупинки, може працювати на споживчих GPU та нестабільних вузлах, є основним компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він суттєво підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, прокладаючи "остання миля" комунікаційної інфраструктури для створення справжньої відкритої, без довіри кооперативної навчальної мережі.
Три, Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання, яка не потребує дозволу, є перевірною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороду на основі реального внеску. Протокол функціонує на основі трьох основних ролей:
Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та стандартів валідації
Тренувальний вузол: виконання локального тренування, подання оновлень ваг та спостережуваних траєкторій
Вузли перевірки: використання механізму TOPLOC для перевірки достовірності навчальної поведінки та участі в розрахунках винагороди та агрегації стратегій
Ядро процесу угоди включає публікацію завдань, навчання вузлів, перевірку траєкторій, агрегування ваг та виплату винагород, формуючи стимулюючий замкнений цикл навколо "реальної навчальної поведінки".
Чотири, INTELLECT-2: перший перевіряємий децентралізований тренувальний модель
Prime Intellect випустила INTELLECT-2 у травні 2025 року, що є першим у світі великим моделлю посиленого навчання, яка була навчена за допомогою асинхронних, бездоверчих децентралізованих вузлів. Обсяг параметрів досягає 32B. Модель INTELLECT-2 була навчена за допомогою 100+ гетерогенних вузлів GPU, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, а тривалість навчання перевищила 400 годин, що демонструє життєздатність і стабільність асинхронної мережі співпраці. Ця модель не тільки є проривом у продуктивності, але й є першим системним втіленням парадигми "навчання — це консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує такі ключові протокольні модулі, як PRIME-RL, TOPLOC і SHARDCAST, що знаменує децентралізоване навчання.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Революція парадигми навчання ШІ: від централізованого контролю до Децентралізації співпраці
Еволюція парадигми навчання ШІ: від централізованого контролю до децентралізованої кооперації технологічної революції
У всьому ціннісному ланцюгу AI навчання моделей є найбільш ресурсомістким і з найвищими технологічними бар'єрами етапом, що безпосередньо визначає верхню межу можливостей моделі та фактичну ефективність застосування. У порівнянні зі стадією висновку, яка є легковаговою, процес навчання вимагає постійних масштабних вкладень обчислювальних потужностей, складних процесів обробки даних та інтенсивної підтримки алгоритмів оптимізації, що є справжньою "важкою промисловістю" системи AI. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Концентрована тренування є найпоширенішим традиційним способом, що виконується єдиною установою в локальному високопродуктивному кластері, де весь процес тренування, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи управління кластером до всіх компонентів тренувальної рамки, координується єдиною контрольованою системою. Така глибока співпраця архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її надзвичайно підходящою для тренування великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованості ресурсів, але водночас має проблеми з монополізацією даних, бар'єрами для ресурсів, споживанням енергії та ризиками єдиної точки.
Розподілене навчання є основним методом навчання великих моделей, його суть полягає у розподілі завдань навчання моделі на кілька машин, щоб подолати обмеження обчислень та зберігання на одному комп'ютері. Незважаючи на те, що фізично воно має "розподілені" характеристики, в цілому все ще контролюється централізованими організаціями, які здійснюють управління та синхронізацію, і зазвичай працює в середовищі з високошвидкісними локальними мережами, використовуючи технологію високошвидкісної міжмашинної зв'язку NVLink, де головний вузол координує всі підзавдання. Основні методи включають:
Розподілене навчання є комбінацією "централізоване управління + розподілене виконання", аналогічно тому, як один бос віддалено керує співробітниками кількох "офісів" для виконання завдання. В даний час практично всі основні великі моделі навчаються саме цим способом.
Децентралізація тренування означає більш відкритий і стійкий до цензури майбутній шлях. Його ключовою особливістю є: кілька недовірливих вузлів спільно виконують завдання тренування без центрального координатора, зазвичай за допомогою протоколу для розподілу завдань і співпраці, а також завдяки механізму криптостимулювання, який забезпечує чесність внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізоване навчання можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справді здійсненне великомасштабне децентралізоване навчання" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але чи можливо "спільно ефективно + стимулювати чесність + отримати правильні результати" поки що перебуває на ранній стадії експериментального дослідження.
Федеративне навчання як перехідна форма між дистрибуцією та децентралізацією підкреслює збереження даних локально, централізовану агрегацію параметрів моделі, підходить для сцен, що акцентують на дотриманні конфіденційності. Федеративне навчання має інженерну структуру дистрибуційного навчання та локальні кооперативні можливості, одночасно маючи переваги дистрибуційного навчання в розподілі даних, але все ще залежить від надійних координуючих сторін і не має повністю відкритих і антикорупційних характеристик. Це можна розглядати як "контрольовану децентралізацію" в сценаріях дотримання конфіденційності, де навчальні завдання, структура довіри та комунікаційні механізми є відносно м'якими, що робить його більш придатним для перехідної архітектури в промисловості.
Децентралізація тренувань: межі, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або значні труднощі в співпраці, воно природно не підходить для ефективного виконання на гетерогенних, недовірених вузлах. Наприклад, навчання великих моделей часто залежить від високої відеопам'яті, низької затримки та швидкісної пропускної здатності, що ускладнює ефективне розподіл та синхронізацію в відкритій мережі; завдання, що мають сильні обмеження щодо конфіденційності даних та суверенітету, обмежені юридичними вимогами та етичними нормами, тому не можуть бути відкритими для спільного використання; а завдання, що не мають основи для співпраці, не мають зовнішніх стимулів для участі. Ці межі спільно складають реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдозадачею. Насправді, у типах завдань із легкою структурою, які легко паралелізуються та можуть бути стимульовані, децентралізоване навчання демонструє чітку перспективу застосування. Сюди входять, але не обмежуються: налаштування LoRA, завдання після навчання з поведінковим вирівнюванням, навчання та маркування даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сцени спільного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність та толерантність до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для кооперативного навчання через P2P-мережі, протокол Swarm, розподілені оптимізатори та інші способи.
Децентралізація тренування класичних проектів解析
На сьогодні в області децентралізованого навчання та федеративного навчання провідними блокчейн-проектами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та проєктуванні алгоритмів, що представляє сучасні теоретичні дослідження; в той час як реалізаційні шляхи Gensyn та Flock.io є відносно зрозумілими, і вже можна побачити перші успіхи в інженерній реалізації. У цій статті буде поетапно розглянуто основні технології та інженерні архітектури п'яти проектів, а також подальше обговорення їх відмінностей та взаємодоповнюючих відносин у децентралізованій системі AI навчання.
Prime Intellect: Тренувальні траєкторії можуть бути перевірені в посиленому навчанні спільної мережі піонерів
Prime Intellect прагне створити мережу тренування штучного інтелекту, яка не потребує довіри, дозволяючи будь-кому брати участь у тренуванні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему тренування штучного інтелекту з перевіряємими, відкритими та повноцінними механізмами стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
Один, структура стеку протоколу Prime Intellect та цінність ключових модулів
Друге, детальний опис ключових механізмів навчання Prime Intellect
PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є фреймворком моделювання завдань та їх виконання, розробленим Prime Intellect для децентралізованих навчальних сценаріїв, спеціально створеним для гетерогенних мереж та асинхронних учасників. Він використовує підкріплювальне навчання як пріоритетний адаптивний об'єкт, структурно декомпонує процеси навчання, виведення та завантаження ваг, дозволяючи кожному навчальному вузлу незалежно завершувати цикли завдань локально і взаємодіяти через стандартизований інтерфейс з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL більше підходить для забезпечення гнучкого навчання в середовищах без централізованого розподілу, знижуючи складність системи і закладаючи основу для підтримки паралельного виконання багатьох завдань та еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренувань
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол на основі спостережуваних даних виконав ефективне навчання стратегій. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а проводить легку валідацію структури, аналізуючи локальні узгодження між "послідовностями спостережень ↔ оновленням стратегій". Він вперше перетворює поведінкові траєкторії під час навчання на перевіряємі об'єкти, що є ключовою інновацією для реалізації розподілу винагород за навчання без довіри, забезпечуючи життєздатний шлях для створення аудиторських, стимулюючих децентралізованих кооперативних навчальних мереж.
SHARDCAST: асинхронний зважений агрегат та протокол поширення
SHARDCAST є протоколом вагового розповсюдження та агрегації, розробленим Prime Intellect, спеціально оптимізованим для асинхронних, обмежених за смугою та з мінливим станом вузлів реальних мережевих середовищ. Він поєднує механізм gossipping та локальні стратегії синхронізації, що дозволяє кільком вузлам продовжувати надсилати часткові оновлення в умовах асинхронного стану, досягаючи поступової конвергенції ваги та еволюції кількох версій. У порівнянні з централізованими або синхронізованими методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваги та безперервних ітерацій навчання.
OpenDiLoCo: Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є комунікаційною оптимізаційною структурою, незалежно реалізованою та відкритою командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленою для вирішення таких викликів, як обмежена пропускна спроможність, гетерогенність пристроїв та нестабільність вузлів, які часто виникають у децентралізованому навчанні. Його архітектура базується на паралельному обробленні даних, шляхом створення розріджених топологічних структур, таких як Ring, Expander, Small-World, що дозволяє уникнути високих витрат на комунікацію від глобальної синхронізації, і для спільного навчання моделей покладається лише на сусідні локальні вузли. Об'єднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, суттєво підвищуючи можливість участі в глобальному кооперативному навчанні, що робить його однією з ключових комунікаційних інфраструктур для створення мережі децентралізованого навчання.
PCCL: Бібліотека синхронного зв'язку
PCCL є легковаговою комунікаційною бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання AI, метою якої є вирішення адаптаційних вузьких місць традиційних комунікаційних бібліотек у гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з точки зупинки, може працювати на споживчих GPU та нестабільних вузлах, є основним компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він суттєво підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, прокладаючи "остання миля" комунікаційної інфраструктури для створення справжньої відкритої, без довіри кооперативної навчальної мережі.
Три, Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання, яка не потребує дозволу, є перевірною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороду на основі реального внеску. Протокол функціонує на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, навчання вузлів, перевірку траєкторій, агрегування ваг та виплату винагород, формуючи стимулюючий замкнений цикл навколо "реальної навчальної поведінки".
Чотири, INTELLECT-2: перший перевіряємий децентралізований тренувальний модель
Prime Intellect випустила INTELLECT-2 у травні 2025 року, що є першим у світі великим моделлю посиленого навчання, яка була навчена за допомогою асинхронних, бездоверчих децентралізованих вузлів. Обсяг параметрів досягає 32B. Модель INTELLECT-2 була навчена за допомогою 100+ гетерогенних вузлів GPU, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, а тривалість навчання перевищила 400 годин, що демонструє життєздатність і стабільність асинхронної мережі співпраці. Ця модель не тільки є проривом у продуктивності, але й є першим системним втіленням парадигми "навчання — це консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує такі ключові протокольні модулі, як PRIME-RL, TOPLOC і SHARDCAST, що знаменує децентралізоване навчання.