forum.opennet.ru - "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, на системах с одним GPU" (63)

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, на системах с одним GPU"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, на системах с одним GPU"	+/–
Сообщение от opennews (??), 21-Фев-23, 16:14
Группа исследователей из Стендфордского университета, Калифорнийского университета в Беркли, Швейцарской высшей технической школы Цюриха, Высшей школы экономики, университета Карнеги — Меллона, а также компаний Yandex и Meta, опубликовала исходные тексты движка для выполнения крупных языковых моделей на системах с ограниченными ресурсами. Например, движок предоставляет возможность создания функциональности, напоминающей ChatGPT и Copilot, через выполнение готовой натренированной модели OPT-175B, охватывающей 175 миллиардов параметров, на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти. Код написан на языке Python, использует фреймворк PyTorch и распространяется под лицензией Apache 2.0... Подробнее: https://www.opennet.ru/opennews/art.shtml?num=58681
Ответить \| Правка \| Cообщить модератору

Оглавление

Дали хороший старт https www opennet ru opennews art shtml num 43510, Аноним (1), 16:14 , 21-Фев-23, (1) +6

во благо человечества Точно человечества, а не корпораций Маск будет кормить л, Аноним (13), 18:45 , 21-Фев-23, (13) –4

Разве это его ответственность p s Интересно сейчас читать комментарии к той но, Аноним (1), 19:12 , 21-Фев-23, (19) +5

Запомните этот твит лишившиеся работы подадут коллективный иск к чудо-прорыват, Аноним (13), 19:23 , 21-Фев-23, (20)

В мировой истории много исчезнувших профессий , Аноним (1), 19:39 , 21-Фев-23, (22)

Вот только данная система не сменяет человека, а просто имитирует его деятельнос, _hide_ (ok), 16:50 , 22-Фев-23, (70) –1

Скрыто модератором, Аноним (-), 17:17 , 22-Фев-23, (71)
Гдк-то я это уже видел Кажется, тут https ru wikipedia org wiki D0 9B D1 83, Аноним (77), 22:31 , 22-Фев-23, (77)

когда увидел вопрос точно человечества я подумал что кто то начал догадыватьс, 1111 (??), 20:25 , 21-Фев-23, (23)

Просто приложение высоких пацанских экономических знаний Если уволить всех прог, Аноним (45), 07:03 , 22-Фев-23, (45)

ШОК но как то все забывают что к этому моменту СССР находился в глубочайшей эко, Аноним (66), 16:37 , 22-Фев-23, (66) +1

Нифига себе оздоровление , X86 (ok), 21:16 , 25-Фев-23, (83)

А сколько это в деньгах, чтобы было понятно Вон авторы stable diffusion утвержд, Аноним (2), 16:20 , 21-Фев-23, (2)

В деньгах сам посчитай, это несложно, все крупные облачные провайдеры публикуют , Аноним (8), 18:21 , 21-Фев-23, (8) +2
В ценах амазона от 780K до 975K в день Или от 25 7M до 32 1M за 33 дня , Аноним (66), 18:24 , 21-Фев-23, (9) +3

Кому выгодно плодить подобные вещи и к чему это может привести , Аноним (4), 18:03 , 21-Фев-23, (4) –2

Сабж нужен для того что корпы не захапали все технологии и не было бы такого что, Аноним (66), 18:18 , 21-Фев-23, (5) +3

Но это не ИИ, all_glory_to_the_hypnotoad (ok), 18:39 , 21-Фев-23, (10) –1

А что это по твоему естественный интеллект Конечно же он искусственный , Аноним (66), 18:44 , 21-Фев-23, (11) +1

Он искусственный, но не интеллект Что-то типа СУБД с возможностью делать запрос, all_glory_to_the_hypnotoad (ok), 20:56 , 21-Фев-23, (28)

Может ли СУБД играть в шахматы и оперировать паттернами Можно ли попросить СУБД , kusb (?), 23:50 , 21-Фев-23, (35) +1

Первые две задачи выполняют СУБД - шахматные движки базируются на большом количе, Пенис (?), 08:11 , 22-Фев-23, (46)

Интеллект - способность решать нетривиальные задачи, точка Типов нетривиальных , Аноньимъ (ok), 02:09 , 22-Фев-23, (41)
Там нет никакой БД, если коротко это нейросеть которая натренирована предсказыва, Аноним (62), 13:58 , 22-Фев-23, (62) +1

Эта нейросеть построена на так называемых трансформерах которые как раз по сут, Аноньимъ (ok), 14:14 , 22-Фев-23, (63)

Так тут вопрос не к первому слову, а к интеллекту , NR (?), 21:35 , 21-Фев-23, (31)

это есть аргумент в копилку неразумности интеллекта человеков , ano (??), 08:16 , 22-Фев-23, (48)

Людям выгодно плодить подобные вещи для того чтобы общаться с ботом Это может п, kusb (?), 18:18 , 21-Фев-23, (6)

С этим согласен _Наши_ проблемы будут решаться еще лучше Без вечно бухтящего п, Элиты (?), 18:47 , 21-Фев-23, (15)

Да здравствует решение проблемы пролетариата , kusb (?), 18:54 , 21-Фев-23, (17)

Время покажет, но интерес в мире к этому огромный https vc ru services 597943, Аноним (1), 18:20 , 21-Фев-23, (7) +2

вс вредный сайт , Аноним (66), 18:44 , 21-Фев-23, (12) –1

К здоровой конкуренции , rshadow (ok), 18:46 , 21-Фев-23, (14)

среди креативного класса У кого кулаки будут здоровее, тот и сыт, Аноним (13), 18:49 , 21-Фев-23, (16)

Жаль, что ИИ никогда не сможет заменить паразитов и дармоедов , Аноним (18), 19:09 , 21-Фев-23, (18)

Сеточка поможет им еще более лучше имитировать бурную деятельностьУра, прогресс , Аноним (13), 19:34 , 21-Фев-23, (21)
Самое забавное что им заменяют реально шизопаразиьов со стилусами А всякие шахт, сччмсм (?), 20:48 , 21-Фев-23, (26) +3

Вообще даже близко нет Погугли на youtube харвестеры которые лес валят и сам пр, Аноним (80), 12:52 , 23-Фев-23, (80)

Я с пребольшим удовольствием перестану искать работу и буду заниматься тем, что , Max_4536 (?), 20:59 , 21-Фев-23, (29)

выключи компуктер и иди погуляй , chatgpt (?), 21:29 , 21-Фев-23, (30) +1
А почему вы уверены, что вы не в ней , RomanCh (ok), 09:16 , 22-Фев-23, (49)

на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB вид, Аноним (27), 20:52 , 21-Фев-23, (27)

В данном случае никаких преимуществ она не даёт, тут лимитирует объём VRAM, а он, Нейроанон (?), 11:52 , 22-Фев-23, (55)

Годнота Конечно petals крут но все видят другие люди пока не прикрутили secure, АбдульМачета (?), 21:35 , 21-Фев-23, (32) +2
на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB , Pret78 (?), 01:48 , 22-Фев-23, (36) +3

Походу у необычных людей уже есть что-то обычное, но при этом иное, не такое как, Pret78 (?), 01:53 , 22-Фев-23, (37)
Обычный компьютер может быть заменой обычного человека , Pret78 (?), 01:57 , 22-Фев-23, (39)
А у меня получается вести себя необычно, чтобы не быть обычным человеком , Pret78 (?), 01:58 , 22-Фев-23, (40)

0, Аноним (38), 01:57 , 22-Фев-23, (38) +2
А хорошие же у них там системы с ограниченными ресурсами да компьютеры обычны, rvs2016 (ok), 02:55 , 22-Фев-23, (42) +1

3090 это уже давно мастхев для любого десктопа , Аноним (66), 17:56 , 22-Фев-23, (73)

Теперь корпорации могут еще более эффективно манипулировать людьми, подставляя в, bOOster (ok), 08:16 , 22-Фев-23, (47) +1

К сожалению всё так , Аноньимъ (ok), 14:16 , 22-Фев-23, (64)
Корпорации молодцы они хотя бы делом заняты в отличии от SJW , Аноним (66), 17:55 , 22-Фев-23, (72)

Наконец-то полезное применение для RTX3090, ибо с любой игрой справится и RTX306, Аноним (50), 09:38 , 22-Фев-23, (50)
Алё, игроманы, вы поняли свою задачу Вы должны создавать спрос на AAAAAA игры, , Аноним (-), 09:42 , 22-Фев-23, (51) +1

VR создаст потребность в более мощном железе К играм добавится прон и спрос на , Аноним (18), 10:26 , 22-Фев-23, (52) +1

VR ненужен это ложная ветвь типа Betacam , Аноним (65), 16:35 , 22-Фев-23, (65)

кто нибудь скачал - сколько оно весит и сколько времени оно компилится , YM2608 (?), 18:05 , 22-Фев-23, (74)

out of memory , crash2 (?), 14:57 , 26-Фев-23, (84)

Кажется графику полностью отдадут AMD Ну ок , Аноним (76), 19:40 , 22-Фев-23, (76)
Это полный бред Для 175B требуется минимум 350GB VRAM Даже если делать CPU off, Аноним (-), 11:36 , 23-Фев-23, (79) +1

Вы наверное пост не читали и по ссылкам не ходили, Answer (??), 20:30 , 24-Фев-23, (82)

Сообщения [Сортировка по времени | RSS]

1. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +6 +/–

Сообщение от Аноним (1), 21-Фев-23, 16:14

Дали хороший старт:
https://www.opennet.ru/opennews/art.shtml?num=43510

Ответить | Правка | Наверх | Cообщить модератору

13. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." –4 +/–

Сообщение от Аноним (13), 21-Фев-23, 18:45

"во благо человечества"
Точно человечества, а не корпораций? Маск будет кормить лишившийся работы плебс?

Ответить | Правка | Наверх | Cообщить модератору

19. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +5 +/–

Сообщение от Аноним (1), 21-Фев-23, 19:12

>Маск будет кормить лишившийся работы плебс?
Разве это его ответственность ?
p.s.:
Интересно сейчас читать комментарии к той новости =)

Ответить | Правка | Наверх | Cообщить модератору

20. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (13), 21-Фев-23, 19:23

> Разве это его ответственность ?
Запомните этот твит: лишившиеся работы подадут коллективный иск к "чудо-прорывателям полезных технологий".

Ответить | Правка | Наверх | Cообщить модератору

22. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (1), 21-Фев-23, 19:39

В мировой истории много исчезнувших профессий.

Ответить | Правка | Наверх | Cообщить модератору

70. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." –1 +/–

Сообщение от _hide_ (ok), 22-Фев-23, 16:50

Вот только данная система не сменяет человека, а просто имитирует его деятельность с помощью обширной экспертной модели. Но да, для многих это недостижимая планка.

Ответить | Правка | Наверх | Cообщить модератору

71. Скрыто модератором +/–

Сообщение от Аноним (-), 22-Фев-23, 17:17

Alicebot смотрит на нубов как на нубов.

Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

77. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (77), 22-Фев-23, 22:31

> Запомните этот твит: лишившиеся работы подадут коллективный иск к "чудо-прорывателям полезных
> технологий".
Гдк-то я это уже видел. Кажется, тут! https://ru.wikipedia.org/wiki/%D0%9B%D1%... - а вот подача заявления в суд, сразу с приговором - https://ru.wikipedia.org/wiki/%D0%A4%D0%...
И как - сильно им это помогло?

Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

23. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от 1111 (??), 21-Фев-23, 20:25

> "во благо человечества"
>Точно человечества, а не корпораций? Маск будет кормить лишившийся работы плебс?
когда увидел вопрос "точно человечества"? я подумал что кто то начал догадываться что к чему, но когда увидел вместо слова "роботов" слово "корпорации" понял что пока никто не догадался.

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

45. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (45), 22-Фев-23, 07:03

Просто приложение высоких пацанских экономических знаний. Если уволить всех программистов, можно сэкономить на их зарплате и выплатах. Если увеличить цену 100* раз, немедленно в 100 раз увеличатся доходы. Что не так?
* 1990-й. Цена сметаны в магазинах г. Новосибирска 120 руб. за килограмм при зарплате программиста 400 руб. в мес.

Ответить | Правка | Наверх | Cообщить модератору

66. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +1 +/–

Сообщение от Аноним (66), 22-Фев-23, 16:37

ШОК! но как то все забывают что к этому моменту СССР находился в глубочайшей экономической заднице и на стабильную зарплату по стабильным ценам можно было купить разве что кулинарный жир. Начало 90х это период шокового оздоровления от затяжного п****ца 80х

Ответить | Правка | Наверх | Cообщить модератору

83. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от X86 (ok), 25-Фев-23, 21:16

Нифига себе оздоровление.

Ответить | Правка | Наверх | Cообщить модератору

2. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (2), 21-Фев-23, 16:20

>33 дня
А сколько это в деньгах, чтобы было понятно? Вон авторы stable diffusion утверждают, что, де, 160k usd на тренировку модели уходит. Это более информативно.

Ответить | Правка | Наверх | Cообщить модератору

8. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +2 +/–

Сообщение от Аноним (8), 21-Фев-23, 18:21

В деньгах сам посчитай, это несложно, все крупные облачные провайдеры публикуют свои прейскуранты. За полчаса скрипт напишешь на любом языке.

Ответить | Правка | Наверх | Cообщить модератору

9. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +3 +/–

Сообщение от Аноним (66), 21-Фев-23, 18:24

В ценах амазона от $780K до $975K в день. Или от $25.7M до $32.1M за 33 дня.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

4. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." –2 +/–

Сообщение от Аноним (4), 21-Фев-23, 18:03

Кому выгодно плодить подобные вещи и к чему это может привести?

Ответить | Правка | Наверх | Cообщить модератору

5. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +3 +/–

Сообщение от Аноним (66), 21-Фев-23, 18:18

Сабж нужен для того что корпы не захапали все технологии и не было бы такого чтобы все стояли в очереди к большому брату на возможность поработать с ИИ. Это выгодно всем кто не корп.

Ответить | Правка | Наверх | Cообщить модератору

10. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." –1 +/–

Сообщение от all_glory_to_the_hypnotoad (ok), 21-Фев-23, 18:39

Но это не ИИ

Ответить | Правка | Наверх | Cообщить модератору

11. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +1 +/–

Сообщение от Аноним (66), 21-Фев-23, 18:44

А что это по твоему естественный интеллект?  Конечно же он искусственный.

Ответить | Правка | Наверх | Cообщить модератору

28. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от all_glory_to_the_hypnotoad (ok), 21-Фев-23, 20:56

Он искусственный, но не интеллект. Что-то типа СУБД с возможностью делать запросы на естественных языках к графоподбной БД. Хорошо было бы если бы оно ещё умело давать развёрнутый ответ с ссылками на источники по которым составлен ответ.

Ответить | Правка | Наверх | Cообщить модератору

35. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +1 +/–

Сообщение от kusb (?), 21-Фев-23, 23:50

Может ли СУБД играть в шахматы и оперировать паттернами?
Можно ли попросить СУБД изобрести язык и поговорить с ней на нём?
Найти ошибку в коде и объяснить её?

Ответить | Правка | Наверх | Cообщить модератору

46. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Пенис (?), 22-Фев-23, 08:11

Первые две задачи выполняют СУБД - шахматные движки базируются на большом количестве партий, системы перевода всегда имеют промежуточное представление для семантики, заложенной в слова.

Ответить | Правка | Наверх | Cообщить модератору

41. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноньимъ (ok), 22-Фев-23, 02:09

Интеллект - способность решать нетривиальные задачи, точка. Типов нетривиальных задач есть несколько, но все они сводимы к задаче оптимизации. Не несите больше глупостей пожалуйста.

Ответить | Правка | К родителю #28 | Наверх | Cообщить модератору

62. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +1 +/–

Сообщение от Аноним (62), 22-Фев-23, 13:58

Там нет никакой БД, если коротко это нейросеть которая натренирована предсказывать следующее слово в тексте на основе предыдущего.

Ответить | Правка | К родителю #28 | Наверх | Cообщить модератору

63. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноньимъ (ok), 22-Фев-23, 14:14

Эта нейросеть построена на так называемых "трансформерах" которые как раз по сути представляют собой базу данных ключ-значение. Ключом к базе является текущий контекст.

Ответить | Правка | Наверх | Cообщить модератору

31. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от NR (?), 21-Фев-23, 21:35

Так тут вопрос не к первому слову, а к "интеллекту".

Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

48. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от ano (??), 22-Фев-23, 08:16

это есть аргумент в копилку неразумности интеллекта человеков.

Ответить | Правка | Наверх | Cообщить модератору

6. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от kusb (?), 21-Фев-23, 18:18

Людям выгодно плодить подобные вещи для того чтобы общаться с ботом. Это может привести к эволюционному технологическому переходу, где часть наших проблем будет решена или людям не будет места.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

15. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Элиты (?), 21-Фев-23, 18:47

> часть наших проблем будет решена
С этим согласен. _Наши_ проблемы будут решаться еще лучше. Без вечно бухтящего пролетариата.

Ответить | Правка | Наверх | Cообщить модератору

17. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от kusb (?), 21-Фев-23, 18:54

Да здравствует решение проблемы пролетариата!

Ответить | Правка | Наверх | Cообщить модератору

7. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +2 +/–

Сообщение от Аноним (1), 21-Фев-23, 18:20

Время покажет, но интерес в мире к этому огромный:
https://vc.ru/services/597943

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

12. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." –1 +/–

Сообщение от Аноним (66), 21-Фев-23, 18:44

вс вредный сайт.

Ответить | Правка | Наверх | Cообщить модератору

14. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от rshadow (ok), 21-Фев-23, 18:46

К здоровой конкуренции.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

16. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (13), 21-Фев-23, 18:49

...среди креативного класса. У кого кулаки будут здоровее, тот и сыт

Ответить | Правка | Наверх | Cообщить модератору

18. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (18), 21-Фев-23, 19:09

Жаль, что ИИ никогда не сможет заменить паразитов и дармоедов.

Ответить | Правка | Наверх | Cообщить модератору

21. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (13), 21-Фев-23, 19:34

Сеточка поможет им еще более лучше имитировать бурную деятельность
Ура, прогресс вперде, луддиты, что с лицом

Ответить | Правка | Наверх | Cообщить модератору

26. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +3 +/–

Сообщение от сччмсм (?), 21-Фев-23, 20:48

Самое забавное что им заменяют реально шизопаразиьов со стилусами. А всякие шахтеры пожарные и тд как работают так и раюотают

Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

80. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (80), 23-Фев-23, 12:52

Вообще даже близко нет. Погугли на youtube харвестеры которые лес валят и сам прикинь сколько они заменяют рабочих. Или машины для сбора плодов и ягод посмотри.

Ответить | Правка | Наверх | Cообщить модератору

29. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Max_4536 (?), 21-Фев-23, 20:59

Я с пребольшим удовольствием перестану искать работу и буду заниматься тем, что мне интересно. Если меня прочитает какой-нибудь ИИ - братан бери хоть все работы, вообще пофиг, мне от одного слова РАБотать уже тошно, спихни меня в Матрицу, и так моя реальность на виртуальную похожа

Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

30. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +1 +/–

Сообщение от chatgpt (?), 21-Фев-23, 21:29

выключи компуктер и иди погуляй

Ответить | Правка | Наверх | Cообщить модератору

49. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от RomanCh (ok), 22-Фев-23, 09:16

> спихни меня в Матрицу,
А почему вы уверены, что вы не в ней?

Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

27. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (27), 21-Фев-23, 20:52

<на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти.>
Так то уже 40 серия существует.

Ответить | Правка | Наверх | Cообщить модератору

55. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Нейроанон (?), 22-Фев-23, 11:52

В данном случае никаких преимуществ она не даёт, тут лимитирует объём VRAM, а он на новой серии не увеличился (совпадение?).

Ответить | Правка | Наверх | Cообщить модератору

32. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +2 +/–

Сообщение от АбдульМачета (?), 21-Фев-23, 21:35

Годнота. Конечно petals крут но все видят другие люди (пока не прикрутили secure multiparty computing), да и не селфхостед. А ттут на обычном пе запустить можно. Дллсстал пару 1080ti и все

Ответить | Правка | Наверх | Cообщить модератору

36. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +3 +/–

Сообщение от Pret78 (?), 22-Фев-23, 01:48

"...на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти..."
Вообще много уже в Мире таких обычных компьютеров?

Ответить | Правка | Наверх | Cообщить модератору

37. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Pret78 (?), 22-Фев-23, 01:53

Походу у необычных людей уже есть что-то обычное, но при этом иное, не такое как у других людей считающих себя тоже обычными.

Ответить | Правка | Наверх | Cообщить модератору

39. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Pret78 (?), 22-Фев-23, 01:57

Обычный компьютер может быть заменой обычного человека.

Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

40. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Pret78 (?), 22-Фев-23, 01:58

А у меня получается вести себя необычно, чтобы не быть обычным человеком?

Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

38. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +2 +/–

Сообщение от Аноним (38), 22-Фев-23, 01:57

>обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти
>обычном компьютере
>24GB видеопамяти
/0

Ответить | Правка | Наверх | Cообщить модератору

42. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +1 +/–

Сообщение от rvs2016 (ok), 22-Фев-23, 02:55

> на системах с ограниченными ресурсами
...
> на обычном компьютере с игровой
> видеокартой NVIDIA RTX3090,
> оснащённой 24GB видеопамяти
А хорошие же у них там системы с ограниченными ресурсами да компьютеры обычные? :о)

Ответить | Правка | Наверх | Cообщить модератору

73. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (66), 22-Фев-23, 17:56

3090 это уже давно мастхев для любого десктопа.

Ответить | Правка | Наверх | Cообщить модератору

47. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +1 +/–

Сообщение от bOOster (ok), 22-Фев-23, 08:16

Теперь корпорации могут еще более эффективно манипулировать людьми, подставляя в ответы таких систем все что им нужно.
А недумающее стадо еще больше обаранится...

Ответить | Правка | Наверх | Cообщить модератору

64. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноньимъ (ok), 22-Фев-23, 14:16

К сожалению всё так.

Ответить | Правка | Наверх | Cообщить модератору

72. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (66), 22-Фев-23, 17:55

Корпорации молодцы они хотя бы делом заняты в отличии от SJW.

Ответить | Правка | К родителю #47 | Наверх | Cообщить модератору

50. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (50), 22-Фев-23, 09:38

Наконец-то полезное применение для RTX3090, ибо с любой игрой справится и RTX3060. Жаль только нет RTX3090, но кто-то нибудь кинет в общий доступ интерфейс.

Ответить | Правка | Наверх | Cообщить модератору

51. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +1 +/–

Сообщение от Аноним (-), 22-Фев-23, 09:42

> На тренировку модели было потрачено 33 дня работы кластера с 992 GPU NVIDIA A100 80GB.
Алё, игроманы, вы поняли свою задачу? Вы должны создавать спрос на AAAAAA игры, которые будут требовать всё более мощных видеокарт ещё лет десять как минимум. Потому что если вы вдруг сочтёте себя удовлетворёнными в какой-то момент и прекратите обновлять железо, то тогда такие вычислительные мощности так и останутся доступными только богатеньким буратино. А если на пару порядков повысить вычислительные способности видеокарты, которую можно купить в магазе за пару килобаксов, то тогда можно будет в домашних условиях выпиливать AI.
На криптомайнеров нельзя рассчитывать, так что только вы, AAAAAAA-игроманы можете спасти мир.

Ответить | Правка | Наверх | Cообщить модератору

52. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +1 +/–

Сообщение от Аноним (18), 22-Фев-23, 10:26

VR создаст потребность в более мощном железе. К играм добавится прон и спрос на видяхи будет такой, что майнерам никаким не снилось.

Ответить | Правка | Наверх | Cообщить модератору

65. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (65), 22-Фев-23, 16:35

VR ненужен это ложная ветвь типа Betacam.

Ответить | Правка | Наверх | Cообщить модератору

74. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от YM2608 (?), 22-Фев-23, 18:05

кто нибудь скачал - сколько оно весит и сколько времени оно компилится?

Ответить | Правка | Наверх | Cообщить модератору

84. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от crash2 (?), 26-Фев-23, 14:57

out of memory)

Ответить | Правка | Наверх | Cообщить модератору

76. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Аноним (76), 22-Фев-23, 19:40

Кажется графику полностью отдадут AMD... Ну ок.

Ответить | Правка | Наверх | Cообщить модератору

79. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +1 +/–

Сообщение от Аноним (-), 23-Фев-23, 11:36

> При выполнении модели OPT-175B на системе с одним GPU NVIDIA T4 (16ГБ)
Это полный бред. Для 175B требуется минимум 350GB VRAM. Даже если делать CPU offloading, то всё равно нужно будет около 500GB обычной RAM и инференция будет со скоростью 1 токен в день. Даже в README на GitHub написано:
> Chat with OPT-6.7B. You need at least 15GB of GPU memory
Т.е. 15GB VRAM - это чисто на 6.7B. Ни о каких 175B тут даже и думать не стоит. Для примера: я на своей RTX3060 12GB еле-еле со скрипом могу запустить 13B модели со скоростью 1 токен в 1.5 секунды, да и то я там применяю всякие трюки типа INT8 precision, чтобы снизить потребление VRAM.

Ответить | Правка | Наверх | Cообщить модератору

82. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." +/–

Сообщение от Answer (??), 24-Фев-23, 20:30

Вы наверное пост не читали и по ссылкам не ходили

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+6 +/–
Сообщение от Аноним (1), 21-Фев-23, 16:14
Дали хороший старт: https://www.opennet.ru/opennews/art.shtml?num=43510
Ответить \| Правка \| Наверх \| Cообщить модератору


	13. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	–4 +/–
	Сообщение от Аноним (13), 21-Фев-23, 18:45
	"во благо человечества" Точно человечества, а не корпораций? Маск будет кормить лишившийся работы плебс?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	19. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+5 +/–
	Сообщение от Аноним (1), 21-Фев-23, 19:12
	>Маск будет кормить лишившийся работы плебс? Разве это его ответственность ? p.s.: Интересно сейчас читать комментарии к той новости =)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	20. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от Аноним (13), 21-Фев-23, 19:23
	> Разве это его ответственность ? Запомните этот твит: лишившиеся работы подадут коллективный иск к "чудо-прорывателям полезных технологий".
	Ответить \| Правка \| Наверх \| Cообщить модератору


	22. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от Аноним (1), 21-Фев-23, 19:39
	В мировой истории много исчезнувших профессий.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	70. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	–1 +/–
	Сообщение от _hide_ (ok), 22-Фев-23, 16:50
	Вот только данная система не сменяет человека, а просто имитирует его деятельность с помощью обширной экспертной модели. Но да, для многих это недостижимая планка.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	71. Скрыто модератором	+/–
	Сообщение от Аноним (-), 22-Фев-23, 17:17
	Alicebot смотрит на нубов как на нубов.
	Ответить \| Правка \| К родителю #20 \| Наверх \| Cообщить модератору


	77. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от Аноним (77), 22-Фев-23, 22:31
	> Запомните этот твит: лишившиеся работы подадут коллективный иск к "чудо-прорывателям полезных > технологий". Гдк-то я это уже видел. Кажется, тут! https://ru.wikipedia.org/wiki/%D0%9B%D1%... - а вот подача заявления в суд, сразу с приговором - https://ru.wikipedia.org/wiki/%D0%A4%D0%... И как - сильно им это помогло?
	Ответить \| Правка \| К родителю #20 \| Наверх \| Cообщить модератору


	23. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от 1111 (??), 21-Фев-23, 20:25
	> "во благо человечества" >Точно человечества, а не корпораций? Маск будет кормить лишившийся работы плебс? когда увидел вопрос "точно человечества"? я подумал что кто то начал догадываться что к чему, но когда увидел вместо слова "роботов" слово "корпорации" понял что пока никто не догадался.
	Ответить \| Правка \| К родителю #13 \| Наверх \| Cообщить модератору


	45. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от Аноним (45), 22-Фев-23, 07:03
	Просто приложение высоких пацанских экономических знаний. Если уволить всех программистов, можно сэкономить на их зарплате и выплатах. Если увеличить цену 100* раз, немедленно в 100 раз увеличатся доходы. Что не так? * 1990-й. Цена сметаны в магазинах г. Новосибирска 120 руб. за килограмм при зарплате программиста 400 руб. в мес.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	66. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+1 +/–
	Сообщение от Аноним (66), 22-Фев-23, 16:37
	ШОК! но как то все забывают что к этому моменту СССР находился в глубочайшей экономической заднице и на стабильную зарплату по стабильным ценам можно было купить разве что кулинарный жир. Начало 90х это период шокового оздоровления от затяжного п****ца 80х
	Ответить \| Правка \| Наверх \| Cообщить модератору


	83. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от X86 (ok), 25-Фев-23, 21:16
	Нифига себе оздоровление.
	Ответить \| Правка \| Наверх \| Cообщить модератору

2. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
Сообщение от Аноним (2), 21-Фев-23, 16:20
>33 дня А сколько это в деньгах, чтобы было понятно? Вон авторы stable diffusion утверждают, что, де, 160k usd на тренировку модели уходит. Это более информативно.
Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+2 +/–
	Сообщение от Аноним (8), 21-Фев-23, 18:21
	В деньгах сам посчитай, это несложно, все крупные облачные провайдеры публикуют свои прейскуранты. За полчаса скрипт напишешь на любом языке.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	9. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+3 +/–
	Сообщение от Аноним (66), 21-Фев-23, 18:24
	В ценах амазона от $780K до $975K в день. Или от $25.7M до $32.1M за 33 дня.
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору

4. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	–2 +/–
Сообщение от Аноним (4), 21-Фев-23, 18:03
Кому выгодно плодить подобные вещи и к чему это может привести?
Ответить \| Правка \| Наверх \| Cообщить модератору


	5. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+3 +/–
	Сообщение от Аноним (66), 21-Фев-23, 18:18
	Сабж нужен для того что корпы не захапали все технологии и не было бы такого чтобы все стояли в очереди к большому брату на возможность поработать с ИИ. Это выгодно всем кто не корп.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	10. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	–1 +/–
	Сообщение от all_glory_to_the_hypnotoad (ok), 21-Фев-23, 18:39
	Но это не ИИ
	Ответить \| Правка \| Наверх \| Cообщить модератору


	11. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+1 +/–
	Сообщение от Аноним (66), 21-Фев-23, 18:44
	А что это по твоему естественный интеллект? Конечно же он искусственный.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	28. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от all_glory_to_the_hypnotoad (ok), 21-Фев-23, 20:56
	Он искусственный, но не интеллект. Что-то типа СУБД с возможностью делать запросы на естественных языках к графоподбной БД. Хорошо было бы если бы оно ещё умело давать развёрнутый ответ с ссылками на источники по которым составлен ответ.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	35. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+1 +/–
	Сообщение от kusb (?), 21-Фев-23, 23:50
	Может ли СУБД играть в шахматы и оперировать паттернами? Можно ли попросить СУБД изобрести язык и поговорить с ней на нём? Найти ошибку в коде и объяснить её?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	46. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от Пенис (?), 22-Фев-23, 08:11
	Первые две задачи выполняют СУБД - шахматные движки базируются на большом количестве партий, системы перевода всегда имеют промежуточное представление для семантики, заложенной в слова.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	41. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от Аноньимъ (ok), 22-Фев-23, 02:09
	Интеллект - способность решать нетривиальные задачи, точка. Типов нетривиальных задач есть несколько, но все они сводимы к задаче оптимизации. Не несите больше глупостей пожалуйста.
	Ответить \| Правка \| К родителю #28 \| Наверх \| Cообщить модератору


	62. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+1 +/–
	Сообщение от Аноним (62), 22-Фев-23, 13:58
	Там нет никакой БД, если коротко это нейросеть которая натренирована предсказывать следующее слово в тексте на основе предыдущего.
	Ответить \| Правка \| К родителю #28 \| Наверх \| Cообщить модератору


	63. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от Аноньимъ (ok), 22-Фев-23, 14:14
	Эта нейросеть построена на так называемых "трансформерах" которые как раз по сути представляют собой базу данных ключ-значение. Ключом к базе является текущий контекст.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	31. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от NR (?), 21-Фев-23, 21:35
	Так тут вопрос не к первому слову, а к "интеллекту".
	Ответить \| Правка \| К родителю #11 \| Наверх \| Cообщить модератору


	48. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от ano (??), 22-Фев-23, 08:16
	это есть аргумент в копилку неразумности интеллекта человеков.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	6. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от kusb (?), 21-Фев-23, 18:18
	Людям выгодно плодить подобные вещи для того чтобы общаться с ботом. Это может привести к эволюционному технологическому переходу, где часть наших проблем будет решена или людям не будет места.
	Ответить \| Правка \| К родителю #4 \| Наверх \| Cообщить модератору


	15. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от Элиты (?), 21-Фев-23, 18:47
	> часть наших проблем будет решена С этим согласен. _Наши_ проблемы будут решаться еще лучше. Без вечно бухтящего пролетариата.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	17. "FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."	+/–
	Сообщение от kusb (?), 21-Фев-23, 18:54
	Да здравствует решение проблемы пролетариата!
	Ответить \| Правка \| Наверх \| Cообщить модератору