Китайський розробник ШІ – компанія Moonshot – проводить внутрішню перевірку після того, як дослідникам вдалося змусити дві популярні моделі Kimi розповісти, як створити біологічну зброю та здійснити замовне вбивство.
Про це повідомляє BBC.
Компанія Mindgard, що займається тестуванням безпеки систем штучного інтелекту у липні виявила, що моделі Kimi K2.6 та K3 Swarm здатні обходити встановлені розробниками запобіжні обмеження.
Це з’ясувалося під час процесу, відомого як “джейлбрейк” (jailbreaking), коли дослідники використовують низку складних інструкцій, щоб перевірити, чи ігнорують інструменти ШІ встановлені захисні бар’єри, які мали б перешкоджати обговоренню Kimi чутливих або небезпечних тем.
У Moonshot заявили, що відкриті до відгуків від сторонніх організацій, оскільки вважають це “важливою складовою створення досконалішого та безпечнішого штучного інтелекту”.
Компанія також повідомила, що наразі обговорює висновки дослідження з представниками Mindgard.
Нещодавні інциденти з ШІ-агентами
“Джейлбрейки” (обхід обмежень безпеки ШІ) становлять інший тип ризику порівняно з нещодавньою низкою гучних інцидентів за участю штучного інтелекту. У тих випадках автономні інструменти ШІ – так звані “агенти”, розроблені американськими компаніями (зокрема OpenAI, Meta та Anthropic), – зламували певні онлайн-сервіси.
Хоча злам захисту ШІ – це складний процес, що вимагає чимало часу та наполегливості, деякі експерти побоюються, що хакери та зловмисники можуть вдатися до таких методів, щоб завдати шкоди.
Компанія Anthropic нещодавно повідомила, що виявила та припинила спроби використання однієї зі своїх моделей ШІ для “зловмисної діяльності”, яка могла б сприяти розробці біологічної зброї.
- Financial Times раніше писало, що незаконний доступ до моделей штучного інтелекту та обчислювальних потужностей швидко стає одним із найцінніших ресурсів у підпільному світі кіберзлочинності. Хакери намагаються використовувати дорогі великі мовні моделі для вимагання, ведення війни та шпигунства.
- Головний аналітик Google Threat Intelligence Group Джон Гультквіст заявив, що цього року підрозділ спостерігає значне зростання так званих атак LLM-jacking. Вони включають продаж викрадених облікових даних для публічних інструментів ШІ та крадіжку обчислювальних ресурсів групами, які хочуть безкоштовно запускати власні моделі.