Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Databricks открыл большую языковую модель DBRX, опережающую в тестах GPT-3.5"	+/–
Сообщение от opennews (??), 02-Апр-24, 20:07
Компания Databricks объявила об... Подробнее: https://www.opennet.ru/opennews/art.shtml?num=60911
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 02-Апр-24, 20:07	+3 +/–
>кластер из 3072 GPU NVIDIA H100 Вот откуда +133% https://omdia.tech.informa.com/-/media/tech/omdia/marketing/...
Ответить | Правка | Наверх | Cообщить модератору

4. Сообщение от ИмяХ (ok), 02-Апр-24, 21:49    Скрыто ботом-модератором	+3 +/–
Выпустили демона, который уничтожит человечество.
Ответить | Правка | Наверх | Cообщить модератору

5. Сообщение от Аноним (5), 02-Апр-24, 23:48	+13 +/–
Что ни новая модель, то на 150% лучше всех остальных. А как попросишь ее что-нибудь накодить, то получаешь какую-то дичь с синтаксическими ошибками...
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #7, #11, #24, #47

6. Сообщение от Вы забыли заполнить поле Name (?), 03-Апр-24, 00:19	+10 +/–
Астрологи объявили увеличение времени для подключения живого оператора голосовым помощником.
Ответить | Правка | Наверх | Cообщить модератору

7. Сообщение от mister_0 (?), 03-Апр-24, 00:21	–3 +/–
а ты задумывался, почему великий ИИ генерит в языках высокого уровня, желательно без типов, а не сразу в машинных кодах. Зачем все эти промежуточные этапы? а как определить великое произведение от посредственного, есть формальные критерии
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #34, #48

8. Сообщение от Аноним (8), 03-Апр-24, 00:22	–1 +/–
>Например, лицензия запрещает использовать DBRX, производные модели и любой вывод на их основе для улучшения других языковых моделей, отличных от DBRX. Лицензия также запрещает использовать модель в областях, нарушающих законы и нормативные акты. Производные модели должны распространяться под той же лицензией. При использовании в продуктах и серивисах, которыми пользуются более 700 млн пользователей в месяц, требуется получение отдельного разрешения. Доказать, что другие модели тюнились с помощью этой - невозможно. С другой стороны - кто хочет и может натренировать свою модель - тому эта не нужна. Проконтролировать соблюдение этой несвободной лицензии тоже невозможно, а поскольку лицензия несвободная — то и соблюдать её необязательно. Зачем конторе такой самозашквар — не очень понятно.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #9, #28

9. Сообщение от голос из леса (?), 03-Апр-24, 00:36	+1 +/–
>> Доказать, что другие модели тюнились с помощью этой - невозможно Любая лицензия регулируется местным законодательством. Например в Китае на нее забьют. В Европе - нет. + В некоторых юрисдикциях сотрудники предпочитают не покрывать работодателя. А в других никто и не спросит.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8 Ответы: #27

10. Сообщение от Аноним (8), 03-Апр-24, 00:43	+/–
KYC-маразм в HuggingFace прогрессирует >You need to share contact information with Databricks to access this model >The information you provide will be collected, stored, processed, and shared in accordance with Databricks Privacy Notice. Погуглил - магнет для Gemma не ищется. Как и IPFS-ссылка. Странно. Неужели никто не перезалил до сих пор, лицензия ведь позволяет?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #13, #31

11. Сообщение от Аноним (11), 03-Апр-24, 00:47	+/–
Это ещё что, они однотонное изображение выдать не могут (не говоря уж добавить в него альфа канал)  https://www.reddit.com/r/ChatGPT/comments/17hbx8f/prompt_cha.../
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #36

12. Сообщение от Ананоним (?), 03-Апр-24, 04:11	+/–
У кого-то дома есть 320GB ОЗУ?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #14, #17, #25, #35, #49, #57

13. Сообщение от Аноним (42), 03-Апр-24, 05:15	+2 +/–
Ну ты вот не перезалил же.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10

14. Сообщение от Roman (??), 03-Апр-24, 06:21	+6 +/–
> У кого-то дома есть 320GB ОЗУ? Ну, если во всём доме, то...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12

15. Сообщение от Аноним (15), 03-Апр-24, 06:24	+/–
> По заявлению создателей модели, по своим характеристикам и возможностям DBRX превосходит модели GPT-3.5 от компании OpenAI и Grok-1 от Twitter, и может конкурировать с моделью Gemini 1.0 Pro при тестировании степени понимания языка, возможностей написания кода на языках программирования и решения математических задач. В современном бизнесе людей больше интересует сколько (американских) людей и денег в это вложилось. От этого и реклама в американских соцсетях будет плясать парадоксально укрепляя узнаваемость продукта. Думаете у Майкрософт в своё время не было конкурентов? Да были аналоги того же офиса, их сервисов получше этой конторки. Только об этом мало кто знал и хотел пользоваться потому что не популярно, ну в итоге эти продукты загнулись а мелкомягкие всё ещё на плаву.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #16, #18, #19

16. Сообщение от Аноним (15), 03-Апр-24, 06:27	+1 +/–
Да и добавлю тот факт что Эпл, Майкрософт, Гугл достаточно хорошо узнаваемые конторы, тем не менее не самые богатые и не самые инновационные, но всего-то монополия основанная на узнаваемости их делает технологичными.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15

17. Сообщение от Аноним (27), 03-Апр-24, 06:50	+/–
У кого-то дома есть оптимизированные алгоритмы (серьезное усложнение структуры нейронов в узлах), что позволило обойтись 1 Гб ОЗУ.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #23, #64

18. Сообщение от Аноним (27), 03-Апр-24, 06:52	+1 +/–
> В современном бизнесе людей больше интересует сколько (американских) людей и денег в это вложилось. В это? В этот пузырь, хотите сказать?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15

19. Сообщение от Аноним (27), 03-Апр-24, 06:53	+/–
> Думаете у Майкрософт в своё время не было конкурентов? На судьбу Гэри Килдалла намекаете?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15 Ответы: #21

21. Сообщение от Андрей (??), 03-Апр-24, 08:08    Скрыто ботом-модератором	+1 +/–
Во всем виноваты женщины))
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

22. Сообщение от Аноним (22), 03-Апр-24, 08:20	+/–
У меня как раз 100500 терабайт оперативы без дела валяются, ну а где прямая или магнет-ссылка на загрузку? Что за регистрация? Уберите новость, никакая это не открытая модель.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #29

23. Сообщение от Аноним (42), 03-Апр-24, 08:32	+/–
И кор2дуо!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17 Ответы: #26

24. Сообщение от КО (?), 03-Апр-24, 08:55	+4 +/–
Что ты хотел от рандомного мусора из соцсетей
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #42

25. Сообщение от Аноним (11), 03-Апр-24, 08:56	+/–
Ну, в принципе, 1 планка памяти до 512 сейчас, 256 уже есть. Но тут наверно 4 видеокарты требуется.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12

26. Сообщение от Аноним (27), 03-Апр-24, 09:16	+/–
Обижаете. G530.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23

27. Сообщение от Аноним (27), 03-Апр-24, 09:22	+/–
Не думаю, что в Китае это используется. Ну хотя бы введите в поиске neural network differential operator и посмотрите Китайские источники. По имеющейся открытой информации, весьма скудной, кстати, им удалось в сотни тысяч раз (!) увеличить быстродействие и снизить требования к скорости процессорной группировки и дисковой памяти за счет совершенствования структуры нейронной сети и алгоритмов ее обучения. Что подтверждается и нашими выкладками и расчетами.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

28. Сообщение от Дмитрий (??), 03-Апр-24, 09:52	+/–
С чего это  ты решил нельзя доказать?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8 Ответы: #39

29. Сообщение от Аноним (27), 03-Апр-24, 09:52	+/–
А зачем загрузка? Нужно писать самим. Есть такой термин - "троянское обучение". Это когда вам подкидывают тему, на самом деле бесперспективную, на которую вы будете тратить все свои технологические ресурсы, но никогда не добьетесь результатов. Как пример, типа искусственного интеллекта из миллиардов персептронов, да еще на языке Python, который при прочих равных условиях медленнее С в 65 тысяч раз. Это мы еще об убогой предлагаемой архитектуре сети не говорили.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22 Ответы: #30, #52

30. Сообщение от economist (?), 03-Апр-24, 10:25	+/–
Толсто. На чистом Python только учебные задачи, а прод - на Python c либами на других языках. Дискомофорта DS-ты не испытывают от слова вообще, неважно на чем либа написана, важно что логика в файле *.py (чаще в *.ipynb). Все big-data платформы, внезапно, тоже используют Pytjhon, конвейеры, оркестраторы итд - все на нем кодится, но либы на С++/С/Fortran/Rust и всем таком типа быстром.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29

31. Сообщение от onanim (?), 03-Апр-24, 11:01	+/–
ждём https://huggingface.co/TheBloke?search_models=dbrx
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10

32. Сообщение от bOOster (ok), 03-Апр-24, 11:26	+1 +/–
Опять решение математических задач? У лжеИИ??? То есть если мы уберем способ решения теоремы Пифагора из обученной системы полностью - и дадим вводные которые были у самого Пифагора - решит эта система задачу? Выведет "теорему Пифагора" самостоятельно?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #37, #46

33. Сообщение от Аноним (33), 03-Апр-24, 12:05	+3 +/–
Родни Брукс в интервью высказал мысль что впереди еще одна зима искуственного интеллекта🤷, а также стагнация всей ИТ отрасли. "Относительно отрасли ИИ, ученый отметил, что несмотря на беспрецедентный уровень успеха, индустрия "следует заезженным циклом ажиотажа, который мы видели снова и снова на протяжении более чем 60-летней истории ИИ"." POST: PREDICTIONS SCORECARD, 2024 JANUARY 01
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #53

34. Сообщение от EuPhobos (ok), 03-Апр-24, 12:32	+6 +/–
ИИ не существует, есть нейронные сетки и языковые модели - думаю ответ стал очевиден на твой вопрос?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7 Ответы: #43

35. Сообщение от vitektm (?), 03-Апр-24, 12:38	+1 +/–
пара компов с 128Гб и  пара по 32Гб Раньше десктопные больше 128Гб не поддерживали ну так что 256/512Гб дома думаю реально, через пару лет. Ну или сейчас но старые процы с али. Ну и это вообще за недорого.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #41

36. Сообщение от anonymmmeer (?), 03-Апр-24, 12:59	–2 +/–
А ещё можно поробовать чаты гпт просто молчать. Чтобы он не отвечал на твои сообщения. у меня не получилось так сделать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11 Ответы: #69

37. Сообщение от anonymmmeer (?), 03-Апр-24, 13:07	+1 +/–
у неё нет системы вывода логического, зато есть память на миллиард ячеек. поэтому она может хорошо действовать по паттернам... ну как хорошо, надо хреналиард похожих ситуаций прогонять. вывести она ничего не может, а попытаться угадать по контексту запросто... угодать, всмысле генерить случайный бред, пока ты, как наблюдатель, не решишь, что это норм ответ.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32 Ответы: #38

38. Сообщение от bOOster (ok), 03-Апр-24, 13:17	+/–
Ну и причем тут тогда Интеллект? То что ты описал - это алгоритм и не больше этого.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37 Ответы: #44, #45

39. Сообщение от Аноним (39), 03-Апр-24, 13:33	+/–
В Весёлой Башне доказать можно что угодно. А для доказательства, что выхлоп сети был использован для тренировки, придётся сначала предоставить входы и дополнения. Входов - огромное множество, и доказывальщикам придётся угадать нужные, и при этом доказать, что с высокой вероятностью совпадение неслучайно. Конечно, можно потребовать от авторов любой конкурирующей сети доказательств, что их сеть не тренирована на основе выхлопа DBRX. Но для этого доказательства придётся перетренировать сеть. Это абсолютно неадекватное требование, дескриминирует всех ответчиков, и если с таким требованием прийти в суд, то любой небасманный суд тавой иса отклонит.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28

41. Сообщение от Аноним (42), 03-Апр-24, 14:31	+/–
AMD TRX50 держит терабайт оперативки, и материнки не сказать чтобы космически стоят.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35 Ответы: #50

42. Сообщение от Аноним (42), 03-Апр-24, 14:46	+/–
Никто не создаёт модель на основе всего подряд, подготовка датасета — важная часть процесса.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24

43. Сообщение от Пряник (?), 03-Апр-24, 14:46	+1 +/–
Он не должен узнать!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34

44. Сообщение от _oleg_ (ok), 03-Апр-24, 14:50	+1 +/–
А кто тебе сказал, что это интеллект? Маркетологи :-)?..
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38

45. Сообщение от anonymmmeer (?), 03-Апр-24, 15:08	–1 +/–
Любой современный процессор(графический или ещё какой) + программа это машина Тьюринга по вычислительной мощности (с конечной лентой конечно же). все эти LLM по вычислительной мощности - машины Тьюринга или просто алгоритм, можно называть и так. увелечение числа параметров модели = увеличение длины ленты. Но даже машина Тьюринга с бесконечной лентой не может решить проблему останова. подумай над этим.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38

46. Сообщение от Alexey V. Pautov (?), 03-Апр-24, 15:14	+/–
Интересный вопрос, кстати. Возможно, что и да, сформулирует. Смотря какой ИИ и на чем специализирован. Вообще, сейчас все это пока ни о чем. Лет через 10 будет тема.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32

47. Сообщение от Аноним (47), 03-Апр-24, 17:57	+/–
Цепочка деградации источника знаний: учёный — научный журналист — журналист-новостник — Маша из Инстраграмма — нейросеть, обученная на машах-из-инстаграмма.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

48. Сообщение от kusb (?), 03-Апр-24, 18:33	+/–
Потому что это не сильный ИИ. Вы путаете виды искусственного интеллекта. Асм может оказаться сложнее и оптимизировать ему труднее, он далёк от полного понимания что он делает и удерживания этого внутри. У людей частично одинаковые проблемы, поэтому мы придумали языки высокого уровня.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

49. Сообщение от pelmaniac (?), 03-Апр-24, 18:38	–3 +/–
>У кого-то дома есть 320GB ОЗУ? ты не поверишь, но речь про 320ГБ ВИДЕОПАМЯТИ! в селектеле такие дедики 3-5 лимонов в месяц стоят. а 320 ГБ рамы это попса, тыщ 30 и оно твоё. БЯМ для богатых пацанов...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #54

50. Сообщение от pelmaniac (?), 03-Апр-24, 18:40	–1 +/–
>AMD TRX50 держит терабайт оперативки, и материнки не сказать чтобы космически стоят. вы вообще не в теме. речь про VRAM. ты в эту материну 8 тесл засунешь с 80 ГБ? если нет, то щвaбоден ;)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41 Ответы: #58

51. Сообщение от Аноним (54), 03-Апр-24, 19:08	+2 +/–
Все эти тесты - средняя температура по больнице. По факту, из опенсорсных решений, даже близко никто не приблизился к gpt-3.5. Вообще, кроме claude 3 opus и gpt-4 остальное - игрушки.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #68

52. Сообщение от Аноним (54), 03-Апр-24, 19:13	+1 +/–
> Это когда вам подкидывают тему, на самом деле бесперспективную, на которую вы будете тратить все свои технологические ресурсы, но никогда не добьетесь результатов. Ярчайший пример, это попытки "торговать" на биржах роботами. Сам этой теме почти 6 лет жизни посветил, благо за зарплату. Итог ожидаемо нулевой - хаос нельзя предсказать (:
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29

53. Сообщение от Аноним (54), 03-Апр-24, 19:17	+1 +/–
> еще одна зима искуственного интеллекта Ожидаемо. Ибо недостаточны ещё вычислительные ресурсы для следующего скачка. Ведь вся идея нынешних LLM была заложена ВНЕЗАПНО в 50-х годах (а кое что и ранее), и только сейчас благодаря производительности GPU смогли приоткрыть завесу.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33 Ответы: #67

54. Сообщение от Аноним (54), 03-Апр-24, 20:11	+2 +/–
> 320ГБ ВИДЕОПАМЯТИ! Взаимозаменяемо с небольшой потерей производительности. Так что не в теме тут именно ВЫ.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #49 Ответы: #56

56. Сообщение от pelmaniac (?), 03-Апр-24, 21:46	–2 +/–
>с небольшой потерей производительности вот дурачьё-то, покупают/арендуют кластеры с GPU, а эксперты опеннета всё на проце считают и тухлой оперативке )
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54 Ответы: #62, #63

57. Сообщение от Дмитрий (??), 04-Апр-24, 09:55	+/–
Если нужно можно недорого купить https://video.simplex-software.ru/w/jezYPKBYPWDrwDaLqJs1UC
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12

58. Сообщение от а што не так (?), 04-Апр-24, 10:09	+/–
Нет, нейросеть запускается на CPU  и речь про RAM. Про видеопамять ничего на гитхабе не сказано.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50 Ответы: #61

61. Сообщение от Аноним (61), 04-Апр-24, 13:53	+/–
> Нет, нейросеть запускается на CPU  и речь про RAM. Да, вполне работает на CPU. Только чем больше модель тем медленнее она будет щевелится. Уже 70B модель на восьмиядерном процессоре работает как пошаговая стратегия: написал письмо и ждешь ответа. Сами попробйте покрутить разные модели в LM Studio или Coboldcpp. Во всем наглядно убедитесь. Видеокарта дает хороший буст в скорости (если в нее хотя бы половина слоев модели влезает).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #58

62. Сообщение от Аноним (61), 04-Апр-24, 14:39	+/–
> вот дурачьё-то, покупают/арендуют кластеры с GPU, а эксперты опеннета всё на проце считают и тухлой оперативке ) Зависит от целей и задач. Если на этом деньги зарабатываешь, то и вложиться в аренду мощностей не грех. А чтоб из любопытства палочкой потыкать, то и на тухлом CPU модели крутить можно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #56 Ответы: #65

63. Сообщение от Аноним (64), 05-Апр-24, 03:00	+1 +/–
> покупают/арендуют кластеры с GPU И снова газификация луж. Объясняю: кластеры арендуют либо для бизнес-задач, коммерции, либо для обучения. Ты уж если не в теме, то... кхм, скажу словами классика: "молчать и слушать, молчать и слушать, что вам говорят".
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #56

64. Сообщение от Аноним (64), 05-Апр-24, 03:07	+/–
Не поверишь, но ещё в 2000-х в универе мы писали код для распознавания капчи на основе нейронок. Обойтись можно было парой мегабайт. Так что, твои алгоритмы вряд ли что-то более сложное, чем обыкновенный перцептрон.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17

65. Сообщение от Аноним (65), 06-Апр-24, 15:16	+/–
Только CPU не умеет в float16 считать, нужно приводить к стандартной плавучке одинарной точности. Так что 640 ГБ RAM и расчёты существенно медленнее.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #62 Ответы: #66

66. Сообщение от s (?), 11-Апр-24, 00:23	+/–
А зачем тебе FP16? Чем INT8 не устраивает?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #65

67. Сообщение от s (?), 11-Апр-24, 00:31	+/–
С тем же успехом вы могли бы сказать, что идея была заложена в 50-х годах XVIII века. Примерно тогда была заложена база матричных вычислений и дифференциальных уравнений. (а кое что и ранее) ;D
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53

68. Сообщение от s (?), 11-Апр-24, 00:37	+/–
Всё зависит от того, какую задачу этим решениям поставить. Даже самые маленькие сети начинают демонстрировать очень неплохие результаты, когда применяются по своему прямому назначению - работе с текстом, при условии наличия всех или почти всех необходимых вводных в контексте.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #51

69. Сообщение от s (?), 11-Апр-24, 00:52	+/–
ClosedAI обучили свои модели ВСЕГДА генерировать текст в ответе. Всякие Ламы и Мистрали - нет, и зачастую позволяют такое. Буквально, модель сходу выдает EOS-токен как один из наиболее вероятных (или единственный вероятный, Mixtral и такое умеет), он семплируется, и генерация затыкается. Пользователь же в норме не видит EOS-токен и получает пустой ответ. А что касатется белого цвета - ну так из шума диффузия идёт! Модели чисто статистически тяжело вытянуть однородную заливку из псевдослучайной каши. Возьмите более светлую опорную картинку, и получите изображение в высоком ключе, и наоборот. А для однородной заливки, уж извините, проще ткнуть мышкой в фотошопе - не вижу тут прикладного смысла.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема