Еволюція парадигми навчання ШІ: від централізованого контролю до технологічної революції децентралізованої співпраці
У повному ланцюгу вартості ШІ, навчання моделей є етапом з найбільшими витратами ресурсів та найвищими технічними бар'єрами, що безпосередньо визначає межу можливостей моделі та фактичну ефективність застосування. На відміну від легковагих викликів на етапі висновків, процес навчання потребує постійних інвестицій у великомасштабні обчислювальні потужності, складні процеси обробки даних та інтенсивну підтримку оптимізаційних алгоритмів, що робить його справжньою "важкою промисловістю" систем ШІ. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основним об'єктом обговорення в цій статті.
Централізоване навчання є найпоширенішим традиційним способом, яке виконується єдиною установою в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення до нижнього програмного забезпечення, системи управління кластером, до всіх компонентів навчальної рамки координується єдиною системою контролю. Така глибоко координована архітектура забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але також існують проблеми з монополізацією даних, бар'єрами для ресурсів, споживанням енергії та ризиком єдиного пункту.
Розподілене навчання є основним способом навчання великих моделей сьогодні, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Незважаючи на те, що фізично воно має "розподілені" характеристики, загалом все ще контролюється централізованими установами, що здійснюють управління та синхронізацію, зазвичай працює в середовищі швидкої локальної мережі, за допомогою технології швидкісної міжмашинної передачі NVLink, де головний вузол координує всі підзавдання. Основні методи включають:
Дані паралельності: кожен вузол навчає різні дані, параметри діляться, потрібно узгодити ваги моделі
Модельна паралельність: розгортання різних частин моделі на різних вузлах для досягнення сильної масштабованості;
Паралельне виконання: поетапне послідовне виконання, підвищення пропускної здатності;
Тензорне паралельне обчислення: детальне розподіл матричних обчислень, підвищення паралельної гранулярності.
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник віддалено керує співробітниками декількох "офісів" для виконання завдання. Наразі майже всі основні великі моделі навчаються саме таким чином.
Децентралізація тренування означає більш відкритий та стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що: кілька недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), які спільно виконують завдання з навчання без централізованого координатора, зазвичай за допомогою протоколу для розподілу завдань і співпраці, а також за допомогою криптостимулів, щоб забезпечити чесність внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв і складнощі розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань;
Вузьке місце в ефективності зв'язку: нестабільний мережевий зв'язок, явне вузьке місце в синхронізації градієнтів;
Відсутність надійного виконання: відсутність надійного середовища виконання ускладнює перевірку того, чи дійсно вузли беруть участь у обчисленнях;
Відсутність єдиної координації: немає центрального диспетчера, складний механізм розподілу завдань та відкату аномалій.
Децентралізація тренувань можна розуміти як: група добровольців з усього світу, які спільно вносять обчислювальні потужності для тренування моделі, але "справді здійсненне масштабне децентралізоване тренування" все ще є системним інженерним викликом, що охоплює кілька аспектів, таких як системна архітектура, комунікаційні протоколи, криптографічна безпека, економічні механізми, перевірка моделей тощо, але питання щодо того, чи можна "спільно ефективно + стимулювати чесність + отримати правильний результат" все ще перебуває на етапі раннього прототипування.
Федеративне навчання як перехідна форма між розподіленістю та децентралізацією підкреслює локальне збереження даних, централізовану агрегацію параметрів моделі, підходить для сценаріїв, що акцентують увагу на дотриманні конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та можливості локальної кооперації, водночас володіючи перевагами розподілених даних у децентралізованому навчанні, проте все ще залежить від довіреної координуючої сторони, і не має повністю відкритих і антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" у сценаріях дотримання конфіденційності, яка є відносно м'якою в аспектах навчальних завдань, структур довіри та комунікаційних механізмів, що робить її більш придатною для промислових перехідних архітектур.
) Панорамна таблиця порівняння парадигм навчання ШІ### Технічна архітектура × Довіра та мотивація × Особливості застосування(
![Еволюція моделей навчання ШІ: від централізованого контролю до децентралізованої співпраці технічної революції])https://img-cdn.gateio.im/webp-social/moments-a03035c30dc3b5258366773e1ab0e495.webp(
) Децентралізація тренінгів: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У певних сценаріях, через складність структури завдання, надзвичайно високі вимоги до ресурсів або великі труднощі у співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей зазвичай потребує великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективний розподіл і синхронізацію в відкритих мережах; завдання з сильною конфіденційністю даних та обмеженнями суверенітету ###, такі як медичні, фінансові, дані з обмеженим доступом (, підпадають під юридичні норми та етичні обмеження, тому їх не можна відкрито ділити; а завдання ), які не мають бази для співпраці, такі як закриті моделі підприємств або навчання внутрішніх прототипів (, не мають стимулів для зовнішньої участі. Ці межі разом становлять реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є хибним твердженням. Насправді, у типах завдань з легкою структурою, які легко паралелізуються та можуть бути мотивовані, децентралізоване навчання демонструє чіткі перспективи застосування. Це включає, але не обмежується: LoRA-фіналізація, завдання після навчання, такі як RLHF, DPO), навчання та розмітка даних через краудсортинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і є стійкими до гетерогенної обчислювальної потужності, що робить їх дуже підходящими для кооперативного навчання через P2P-мережі, протоколи Swarm, розподілені оптимізатори тощо.
(# Огляд адаптації завдань навчання децентралізації
![Еволюція парадигми навчання штучного інтелекту: від централізованого контролю до Децентралізація кооперативної технологічної революції])https://img-cdn.gateio.im/webp-social/moments-f0af7b28242215cca3784f0547830879.webp###
( Децентралізація тренування класичних проектів аналіз
Наразі у сфері децентралізованого навчання та федеративного навчання, репрезентативні блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, що представляє сучасні теоретичні напрямки; тоді як шляхи реалізації Gensyn та Flock.io є відносно зрозумілими, і вже можна спостерігати попередній інженерний прогрес. У цій статті буде поетапно розглянуто ключові технології та інженерну архітектуру цих п'яти проектів, а також додатково обговорено їх відмінності та взаємодоповнюючі відносини в системі децентралізованого AI-навчання.
)# Prime Intellect: тренувальна траєкторія з можливістю верифікації для посиленого навчання в кооперативних мережах
Prime Intellect прагне створити мережу тренування ШІ без необхідності довіри, щоб кожен міг брати участь у навчанні і отримувати надійну винагороду за свої обчислювальні внески. Prime Intellect має на меті створити децентралізовану систему тренування ШІ з трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST, яка має перевіряємість, відкритість і повноцінний механізм мотивації.
一、Структура та ключова модуля цінність протоколу Prime Intellect
![Еволюція парадигми навчання ШІ: від централізованого контролю до технологічної революції децентралізованої кооперації]###https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp###
Два. Детальний опис ключових механізмів тренування Prime Intellect
PRIME-RL: архітектура завдань роздільного асинхронного підкріплювального навчання
PRIME-RL – це фреймворк моделювання та виконання завдань, адаптований Prime Intellect для децентралізованих навчальних сцен, спеціально розроблений для гетерогенних мереж та асинхронних учасників. Він використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно розділяючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації еластичного навчання в умовах безцентрового керування, що знижує складність системи та закладає основу для підтримки паралельного виконання багатозадачності та еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренування
TOPLOC(Достовірне спостереження & перевірка політики-локальності) є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення повної моделі, а завершує валідацію легковажної структури шляхом аналізу "послідовності спостережень ↔ оновлення стратегії" між локальними узгодженими траєкторіями. Вперше вона перетворює поведінкові траєкторії під час навчання на об'єкти, що підлягають перевірці, що є ключовою інновацією для реалізації розподілу винагороди за навчання без довіри, забезпечуючи реальний шлях для створення контрольованої, стимулюючої децентралізованої мережі кооперативного навчання.
SHARDCAST: Асинхронний ваговий агрегат та протокол поширення
SHARDCAST є протоколом вагового поширення та агрегування, розробленим Prime Intellect, спеціально оптимізованим для асинхронних, обмежених за пропускною спроможністю та змінних за станом вузлів реальних мережевих середовищ. Він поєднує механізм поширення gossip з локальною синхронізацією, дозволяючи кільком вузлам продовжувати подавати часткові оновлення в умовах асинхронного стану, досягаючи поступової конвергенції ваг та еволюції версій. На відміну від централізованих або синхронних методів AllReduce, SHARDCAST значно підвищує масштабованість та відмовостійкість децентралізованого навчання, що є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом оптимізаційного фреймворку зв'язку, розробленим командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально спроектований для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, які часто виникають під час децентралізованого навчання. Його архітектура базується на даних паралельно, шляхом побудови розріджених топологій, таких як кільце, розширювач, малий світ, що дозволяє уникнути високих витрат на зв'язок під час глобальної синхронізації, покладаючись лише на локальних сусідніх вузлів для завершення спільного навчання моделі. Завдяки асинхронному оновленню та механізму відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та краєвим пристроям стабільно брати участь у навчальних завданнях, що суттєво підвищує можливість участі у глобальному співпраці в навчанні, є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL: Бібліотека координаційного зв'язку
PCCL(Prime Collective Communication Library) є легковаговою комунікаційною бібліотекою, розробленою Prime Intellect для децентралізованого середовища навчання штучного інтелекту, яка має на меті вирішення адаптаційних вузьких місць традиційних комунікаційних бібліотек (, таких як NCCL, Gloo), в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він значно підвищив толерантність мережі до пропускної здатності та сумісність пристроїв, прокладаючи "останні кілометри" комунікаційної інфраструктури для створення справжньої відкритої, без довіри, мережі спільного навчання.
Три, мережа стимулів Prime Intellect та розподіл ролей
Prime Intellect побудував тренувальну мережу без дозволів, що може бути перевірена та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороду на основі реальних внесків. Протокол функціонує на основі трьох основних ролей:
Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та стандартів валідації
Навчальні вузли: виконання локального навчання, подання оновлень ваг та спостереження за траєкторією
Вузли перевірки: використання механізму TOPLOC для перевірки достовірності навчальної поведінки та участі у розрахунках винагороди та агрегації стратегій
Ядро процесу угоди включає в себе публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та виплату винагород, що становить замкнене коло стимулювання навколо "справжньої навчальної поведінки".
Чотири, INTELLECT-2: випуск першої перевірної децентралізованої навчальної моделі
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель зміцнюючого навчання, створена за допомогою асинхронних, без довіри, децентралізованих узгоджених вузлів, параметри
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Революція в парадигмах тренування ШІ: від централізованого контролю до децентралізованої співпраці в технологічній еволюції
Еволюція парадигми навчання ШІ: від централізованого контролю до технологічної революції децентралізованої співпраці
У повному ланцюгу вартості ШІ, навчання моделей є етапом з найбільшими витратами ресурсів та найвищими технічними бар'єрами, що безпосередньо визначає межу можливостей моделі та фактичну ефективність застосування. На відміну від легковагих викликів на етапі висновків, процес навчання потребує постійних інвестицій у великомасштабні обчислювальні потужності, складні процеси обробки даних та інтенсивну підтримку оптимізаційних алгоритмів, що робить його справжньою "важкою промисловістю" систем ШІ. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основним об'єктом обговорення в цій статті.
Централізоване навчання є найпоширенішим традиційним способом, яке виконується єдиною установою в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення до нижнього програмного забезпечення, системи управління кластером, до всіх компонентів навчальної рамки координується єдиною системою контролю. Така глибоко координована архітектура забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але також існують проблеми з монополізацією даних, бар'єрами для ресурсів, споживанням енергії та ризиком єдиного пункту.
Розподілене навчання є основним способом навчання великих моделей сьогодні, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Незважаючи на те, що фізично воно має "розподілені" характеристики, загалом все ще контролюється централізованими установами, що здійснюють управління та синхронізацію, зазвичай працює в середовищі швидкої локальної мережі, за допомогою технології швидкісної міжмашинної передачі NVLink, де головний вузол координує всі підзавдання. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник віддалено керує співробітниками декількох "офісів" для виконання завдання. Наразі майже всі основні великі моделі навчаються саме таким чином.
Децентралізація тренування означає більш відкритий та стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що: кілька недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), які спільно виконують завдання з навчання без централізованого координатора, зазвичай за допомогою протоколу для розподілу завдань і співпраці, а також за допомогою криптостимулів, щоб забезпечити чесність внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренувань можна розуміти як: група добровольців з усього світу, які спільно вносять обчислювальні потужності для тренування моделі, але "справді здійсненне масштабне децентралізоване тренування" все ще є системним інженерним викликом, що охоплює кілька аспектів, таких як системна архітектура, комунікаційні протоколи, криптографічна безпека, економічні механізми, перевірка моделей тощо, але питання щодо того, чи можна "спільно ефективно + стимулювати чесність + отримати правильний результат" все ще перебуває на етапі раннього прототипування.
Федеративне навчання як перехідна форма між розподіленістю та децентралізацією підкреслює локальне збереження даних, централізовану агрегацію параметрів моделі, підходить для сценаріїв, що акцентують увагу на дотриманні конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та можливості локальної кооперації, водночас володіючи перевагами розподілених даних у децентралізованому навчанні, проте все ще залежить від довіреної координуючої сторони, і не має повністю відкритих і антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" у сценаріях дотримання конфіденційності, яка є відносно м'якою в аспектах навчальних завдань, структур довіри та комунікаційних механізмів, що робить її більш придатною для промислових перехідних архітектур.
) Панорамна таблиця порівняння парадигм навчання ШІ### Технічна архітектура × Довіра та мотивація × Особливості застосування(
![Еволюція моделей навчання ШІ: від централізованого контролю до децентралізованої співпраці технічної революції])https://img-cdn.gateio.im/webp-social/moments-a03035c30dc3b5258366773e1ab0e495.webp(
) Децентралізація тренінгів: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У певних сценаріях, через складність структури завдання, надзвичайно високі вимоги до ресурсів або великі труднощі у співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей зазвичай потребує великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективний розподіл і синхронізацію в відкритих мережах; завдання з сильною конфіденційністю даних та обмеженнями суверенітету ###, такі як медичні, фінансові, дані з обмеженим доступом (, підпадають під юридичні норми та етичні обмеження, тому їх не можна відкрито ділити; а завдання ), які не мають бази для співпраці, такі як закриті моделі підприємств або навчання внутрішніх прототипів (, не мають стимулів для зовнішньої участі. Ці межі разом становлять реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є хибним твердженням. Насправді, у типах завдань з легкою структурою, які легко паралелізуються та можуть бути мотивовані, децентралізоване навчання демонструє чіткі перспективи застосування. Це включає, але не обмежується: LoRA-фіналізація, завдання після навчання, такі як RLHF, DPO), навчання та розмітка даних через краудсортинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і є стійкими до гетерогенної обчислювальної потужності, що робить їх дуже підходящими для кооперативного навчання через P2P-мережі, протоколи Swarm, розподілені оптимізатори тощо.
(# Огляд адаптації завдань навчання децентралізації
![Еволюція парадигми навчання штучного інтелекту: від централізованого контролю до Децентралізація кооперативної технологічної революції])https://img-cdn.gateio.im/webp-social/moments-f0af7b28242215cca3784f0547830879.webp###
( Децентралізація тренування класичних проектів аналіз
Наразі у сфері децентралізованого навчання та федеративного навчання, репрезентативні блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, що представляє сучасні теоретичні напрямки; тоді як шляхи реалізації Gensyn та Flock.io є відносно зрозумілими, і вже можна спостерігати попередній інженерний прогрес. У цій статті буде поетапно розглянуто ключові технології та інженерну архітектуру цих п'яти проектів, а також додатково обговорено їх відмінності та взаємодоповнюючі відносини в системі децентралізованого AI-навчання.
)# Prime Intellect: тренувальна траєкторія з можливістю верифікації для посиленого навчання в кооперативних мережах
Prime Intellect прагне створити мережу тренування ШІ без необхідності довіри, щоб кожен міг брати участь у навчанні і отримувати надійну винагороду за свої обчислювальні внески. Prime Intellect має на меті створити децентралізовану систему тренування ШІ з трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST, яка має перевіряємість, відкритість і повноцінний механізм мотивації.
一、Структура та ключова модуля цінність протоколу Prime Intellect
![Еволюція парадигми навчання ШІ: від централізованого контролю до технологічної революції децентралізованої кооперації]###https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp###
Два. Детальний опис ключових механізмів тренування Prime Intellect
PRIME-RL: архітектура завдань роздільного асинхронного підкріплювального навчання
PRIME-RL – це фреймворк моделювання та виконання завдань, адаптований Prime Intellect для децентралізованих навчальних сцен, спеціально розроблений для гетерогенних мереж та асинхронних учасників. Він використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно розділяючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації еластичного навчання в умовах безцентрового керування, що знижує складність системи та закладає основу для підтримки паралельного виконання багатозадачності та еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренування
TOPLOC(Достовірне спостереження & перевірка політики-локальності) є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення повної моделі, а завершує валідацію легковажної структури шляхом аналізу "послідовності спостережень ↔ оновлення стратегії" між локальними узгодженими траєкторіями. Вперше вона перетворює поведінкові траєкторії під час навчання на об'єкти, що підлягають перевірці, що є ключовою інновацією для реалізації розподілу винагороди за навчання без довіри, забезпечуючи реальний шлях для створення контрольованої, стимулюючої децентралізованої мережі кооперативного навчання.
SHARDCAST: Асинхронний ваговий агрегат та протокол поширення
SHARDCAST є протоколом вагового поширення та агрегування, розробленим Prime Intellect, спеціально оптимізованим для асинхронних, обмежених за пропускною спроможністю та змінних за станом вузлів реальних мережевих середовищ. Він поєднує механізм поширення gossip з локальною синхронізацією, дозволяючи кільком вузлам продовжувати подавати часткові оновлення в умовах асинхронного стану, досягаючи поступової конвергенції ваг та еволюції версій. На відміну від централізованих або синхронних методів AllReduce, SHARDCAST значно підвищує масштабованість та відмовостійкість децентралізованого навчання, що є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo: Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом оптимізаційного фреймворку зв'язку, розробленим командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально спроектований для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, які часто виникають під час децентралізованого навчання. Його архітектура базується на даних паралельно, шляхом побудови розріджених топологій, таких як кільце, розширювач, малий світ, що дозволяє уникнути високих витрат на зв'язок під час глобальної синхронізації, покладаючись лише на локальних сусідніх вузлів для завершення спільного навчання моделі. Завдяки асинхронному оновленню та механізму відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та краєвим пристроям стабільно брати участь у навчальних завданнях, що суттєво підвищує можливість участі у глобальному співпраці в навчанні, є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL: Бібліотека координаційного зв'язку
PCCL(Prime Collective Communication Library) є легковаговою комунікаційною бібліотекою, розробленою Prime Intellect для децентралізованого середовища навчання штучного інтелекту, яка має на меті вирішення адаптаційних вузьких місць традиційних комунікаційних бібліотек (, таких як NCCL, Gloo), в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він значно підвищив толерантність мережі до пропускної здатності та сумісність пристроїв, прокладаючи "останні кілометри" комунікаційної інфраструктури для створення справжньої відкритої, без довіри, мережі спільного навчання.
Три, мережа стимулів Prime Intellect та розподіл ролей
Prime Intellect побудував тренувальну мережу без дозволів, що може бути перевірена та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороду на основі реальних внесків. Протокол функціонує на основі трьох основних ролей:
Ядро процесу угоди включає в себе публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та виплату винагород, що становить замкнене коло стимулювання навколо "справжньої навчальної поведінки".
Чотири, INTELLECT-2: випуск першої перевірної децентралізованої навчальної моделі
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель зміцнюючого навчання, створена за допомогою асинхронних, без довіри, децентралізованих узгоджених вузлів, параметри