The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

В репозитории Hugging Face выявлены вредоносные AI-модели, выполняющие код, opennews (?), 29-Фев-24, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


2. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."  +3 +/
Сообщение от Аноним (2), 29-Фев-24, 11:08 
Не зря придумали safetensors.
Ответить | Правка | Наверх | Cообщить модератору

31. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."  +1 +/
Сообщение от Аноним (31), 29-Фев-24, 18:56 
Зря. Это растоподелка сделана исключительно из NIH-синдрома. Лучший аналог safetensors - это zip-архив со store-"сжатием", с npy-файлами и файлом с JSON-метаданными, и выравниванием zipalignом был бы лучше. Во-первых никаких новых форматов, всё уже давно известное и в софте поддерживаемое, во-вторых использовать всё равно можно mmapом, благодаря выравниваниюи нулевому сжатию. Для распространения можно использовать пожатый архив, который для локального использования с отображением можно перепаковать на store и выравнять, а если он маленький и будет в память целиком грузиться - то можно и не перепаковывать.

Это если ONNX не использовать, который содержит не просто веса, а целый граф, и просто и удобно импортируется в софт и редактируется. Я лично - за ONNX в качестве стандартного метода. Это самая удобная и полезная технология в ИИ для деплоя. Модели режутся на эмбеддинги просто и удобно в GUI-редакторе, там же и анализируется и реверсится их архитектура. Если нужно — компилятся в C код, который компилится уже в нативную библиотеку без всяких рантаймов.

Ответить | Правка | Наверх | Cообщить модератору

32. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."  +/
Сообщение от Аноним (32), 29-Фев-24, 19:02 
И на numpy npy в статье грязная клевета. Там эта pickle опционален (для произвольных массивов, содержащих питоньи объекты, которые днём с огнём IRL не сыщещь) и её руками включать надо, потому что по-умолчанию там allow_pickle=False.
Ответить | Правка | Наверх | Cообщить модератору

42. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."  +/
Сообщение от Аноним (-), 01-Мрт-24, 02:39 
> И на numpy npy в статье грязная клевета. Там эта pickle опционален
> (для произвольных массивов, содержащих питоньи объекты, которые днём с огнём IRL
> не сыщещь) и её руками включать надо, потому что по-умолчанию там
> allow_pickle=False.

Ну так бэкдор тоже - опциональный. Однако нелохов с такими опциями как раз и раздербанят. Питоняши же замечают проблему только когда уже по горло в г-не.

Ответить | Правка | Наверх | Cообщить модератору

33. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."  +2 +/
Сообщение от Аноним (33), 29-Фев-24, 19:12 
На ONNX там (уточняю, https://hiddenlayer.com/research/weaponizing-machine-learnin... ) тоже клевета, но уже наполовину.

1. ONNX действительно позволяет исполнять свой код ... потому что кодирует вычислительный граф.
2. Но по-умолчанию все эти узлы безопасные, без ввода/вывода. Ну код там — это как чисто математическая формула в калькуляторе.
3. И вычислительный граф там не Тьюринг-полный. Если бы был Тьюринг-полный — можно было бы построить виртуальную машину и на ней попробовать атаковать железо через rowhammer. Но он не Тьюринг-полный!
4. ... если не используются кастомные расширения. Которые фреймворку ещё и реализовать надо, и каких не будет ни в одном адекватном софте для инференса.

Так что предъяву к ONNX можно сделать такую же, как и предъяву к скрипту в транзакции Биткоина (каждая транзакция биткоина содержит скрипт, который выполняется каждым честным узлом, о ужас!). То есть чисто формально код выполняется, но на деле пометка ONNX как опасного — это грязная манипуляция.

Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

43. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."  +/
Сообщение от Аноним (-), 01-Мрт-24, 02:42 
> 1. ONNX действительно позволяет исполнять свой код ... потому что кодирует
> вычислительный граф.

Офигенно, WMF файлы переизобрели. Привет из прошлого.

> 2. Но по-умолчанию все эти узлы безопасные, без ввода/вывода. Ну код там
> — это как чисто математическая формула в калькуляторе.

Ога, а что если формула rowhammer попробует? :)

> 4. ... если не используются кастомные расширения. Которые фреймворку ещё и реализовать
> надо, и каких не будет ни в одном адекватном софте для инференса.

TL;DR "это было давно и неправда!". А вот скрипт транзакции биткоина - вообще таки мало что может. По счатью. Не, он совсем не могет ничего вредного на системе юзера сделать. И даже rowhammer напряжется, из-за ценника на объем места в блоке и проч.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру