Експерти твърдят, че експлоатирането на Fable на Anthropic не е причината Kimi K3 да е толкова добър

Научният съветник на Белия дом, Майкъл Кратсиос, посочи, че Moonshot, китайската компания зад Kimi K3, най-голямата налична LLM с отворени тегла, е изградил своя модел, като е копирал LLM на Anthropic, Fable, използвайки чипове, които не са разрешени за износ в Китай.

„Масштабното, тайно индустриално дестилиране, насочено към кражба на собствена технология на САЩ и подкопаване на американските изследвания, е неприемливо“, написа Кратсиос, на фона на съобщения за обсъждания относно забраната на китайски модели с отворени тегла, които разтърсиха сектора на ИИ. Moonshot не отговори на въпроси относно процеса на обучение, а Кратсиос не сподели допълнителни подробности относно източниците на своите обвинения.

Туитът на Кратсиос отразява коментарите на секретаря на хазната Скот Бесент, който заяви, че „намираме водни знаци на нашите американски модели с голям език в много от китайските модели и това е неприемливо.“ Не е ясно какво точно представляват тези водни знаци, а Министерството на финансите не отговори на запитване.

Въпреки това, експертите са скептични, че дестилацията – процесът на запитване на LLM, за да се определи как работи и да се копират неговите способности – е отговорна за напредналите способности, които Kimi K3 демонстрира.

„Не мисля, че можеш да получиш модел с такава сила и толкова бързо, следвайки единствено дестилацията на Fable“, каза Брейдън Хенкок, изследовател в Института Лауде и съосновател на Snorkel AI, пред TechCrunch. „Просто няма време, нали? Fable е наличен публично от 1 юли. Не можеш да дестилираш толкова много данни, да обучиш модел и да го пуснеш за две седмици.“

„Смятам, че дестилацията става все по-малко значима с времето, тъй като китайските модели се приближават до границата и режимът на обучение преминава към [обучение чрез усилване]“, каза Нейтън Ламбер, изследовател по ИИ в Института за ИИ на Алън, в подкаст, публикуван вчера. „[Ако] това беше така, всеки лесно би могъл да навакса с GLM или K3, използвайки данните му за дестилация. Но ние не сме, или няма да видим това, само от наблюдавано фино обучение.“

Извършването на дестилация изисква лаборатория систематично да запитва целевия модел, за да генерира данни, които могат да се използват за пост-обучение. Понякога това изрично включва искане от модела да формулира своята верига на мислене, за да се разбере как решава проблеми. В други случаи, подканите и отговорите от модел се използват за обучение на нов модел в процес, наречен наблюдавано фино обучение или SFT.

Точно този процес на фино обучение може да доведе до модел, който очевидно е създаден от трета страна, твърдейки, че е Клод. Според Ламбер, финото обучение е там, където „моделът усвоява своите манери.“

Но Ламбер казва, че ползите от SFT стават все по-малко важни, тъй като моделите стават все по-сложни. За да се дестилират способности, подобни на Fable, вероятно ще са необходими техники на обучение чрез усилване. В много случаи това означава, че агентът на по-голям модел оценява отговорите на по-малкия модел и коригира на база оценката.

По-напредналите техники също изискват по-сериозна инфраструктура. Големите обучения чрез усилване могат да изискват десетки милиони агенти. Използването на API на лаборатория на границата за това „би било безумно скъпо и потенциално вероятно би било времево ограничение, тъй като тези модели са доста бавни и, честно казано, може дори да не ти дадат повишение на производителността.“

Изглежда вероятно, че предишни модели на границата могат да са допринесли за Kimi; Anthropic публично обвини Moonshot, DeepSeek и MiniMax в систематично дестилиране на своите модели по-рано тази година. Anthropic заяви, че е открила милиони обмена между своите модели и потребители, които е идентифицирала в тези компании чрез IP адреси и друга мета информация. Тези запитвания са „различни от нормалните модели на използване, отразявайки целенасочено извличане на способности, а не легитимна употреба.“ Anthropic не отговори на запитванията на TechCrunch относно дестилацията на Fable.

Въпреки това, дестилацията се счита за често срещана сред компаниите за ИИ, не само в Китай. Илон Мъск свидетелства по-рано тази година, че компанията му SpaceXAI е дестилирала модели на OpenAI, за да разработи Grok, и че тази практика е обичайна в индустрията. Границата между дестилацията и разработването на синтетични набори от данни, например, може да бъде доста размита.

„[Общо взето, американците подценяват техническата експертиза на тези китайски екипи“, каза Хенкок. „Един от основателите на Moonshot е бил докторант в CMU. Това са легитимни изследователи и инженери, които извършват солидна работа. …ако американските модели спрат, смятам, че напредъкът на Китай ще забави, но ще продължи. Те не просто се възползват от чуждия труд тук.“

Също така е трудно да се разграничат дестилацията от втората част на коментара на Кратсиос – че Moonshot е получила напреднали Nvidia чипове, Grace Blackwell 300s, и също е получила достъп до сървъри с GB300 в Тайланд. Тези чипове са забранени за износ в Китай, но съществува черен пазар, според Сам Бресник, изследовател от Центъра за сигурност и нови технологии на Джорджтаун. През май, основателят на Supermicro, американски производител на сървъри, беше обвинен в контрабанда на напреднали чипове в Китай.

„Аз съм привърженик на законите за познаване на клиента за центровете за данни по целия свят“, каза Бресник. „Ако позволявате на компания да провежда големи обучения на вашето съвременно оборудване, трябва да има механизъм за докладване за това коя е компанията и какво прави.“

Министерството на търговията на президента Джо Байдън предложи федерални правила за познаване на клиента за центровете за данни през 2024 г., но не изглежда да е направен напредък под Доналд Тръмп. Износителите, които изпращат напреднали чипове в чужбина, обаче трябва да гарантират, че те се използват само за одобрени цели.