forum.opennet.ru

"Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Заметили полезную информацию ? Пожалуйста добавьте в FAQ на WIKI.

. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."	+/–
Сообщение от Классический анонимус (?), 24-Сен-15, 12:03
> Тьфу, что-то я туплю. Какие джавы? Какие самописные программы? sort (если оригинал > не сортирован) + diff решат все ваши проблемы. Сортированный файл хранить > до завтра, разумеется, и второй раз не сортировать. "вчера" хранится в СУБД. Если хранить его ещё и в файле, то возможна неконсистентность. Просто загрузка в СУБД (Oracle) нового файла - тормоза на полчаса. Штатный линуксовый diff между 2 файлами по 100млн строк - тормоза на "больше часа". Проги на джаве и си "выгрузить из СУБД, найти дельту, загрузить в СУБД" примерно одинаково на уровне 4-5 минут. На джаве шаг "найти дельту" около 40 секунд отрабатывает с fastutil. Программу накидал за полчаса на стандартных и протестированных компонентах. Сишник 2 дня чё-то писал, переписывал, оптимизировал, в итоге скорость чуть ниже и ДРУГИЕ цифры. Т.е. у него ещё и баги надо было искать ;) При том, что сишник как прогер намного сильнее меня.
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..., opennews, 23-Сен-15, 14:25 [смотреть все]

Эпично, Аноним, 23-Сен-15, 14:25 (1) //
- А где же изен С его рассказами про Java Не Тормозит 111, Аноним, 23-Сен-15, 19:13 (50) //
  - Изен Это по-хакасски здравствуйте , Музыкант, 23-Сен-15, 20:47 (61)
  - Тормозят KAV и Яндекс-бар, а Java просто работает там, где необходимо Cassandra , iZEN, 23-Сен-15, 21:28 (63) //
    - Ты о чем, изя О том что у тебя тырят файлы и кашпировский , и яндекс, и майкро, Аноним, 23-Сен-15, 23:01 (73)
      - Поколение Z Ты снова не подходишь Ищи другую работу , iZEN, 24-Сен-15, 11:47 (112)
        
        Да, изя, ВАМ я точно не подхожу Работать с такими как ты и под виндой - это над, Аноним, 24-Сен-15, 23:32 (127)
      - изя тормозит , arisu, 30-Сен-15, 22:29 (151)
    - Точно Надо переписать JVM на Java , irinat, 24-Сен-15, 16:09 (124)
      - Внезапно это уже сделали Но, к сожалению, не успели внедрить - JVM go оказалась, iZEN, 24-Сен-15, 17:15 (125)
        
        Тогда go go будет еще интереснее А уж go go go , Аноним, 24-Сен-15, 23:33 (128)
        
        Отписался от этого бреда , iZEN, 24-Сен-15, 23:34 (129)
        
        Так вроде была новость, что Go вроде уе на Go написан или я что-то путаю Меня то, Аноним, 25-Сен-15, 22:05 (137)
        
        можешь выключить, но что бы удалить объекты надо будет вручную вызывать весь GC, Illya, 02-Окт-15, 18:45 (162)
        
        Хотя можешь переменные на стеке хранить этот подход моден в Go, Illya, 02-Окт-15, 18:50 (163)
  - Обычно проблема не в языке, а в том как его использовать , imprtat, 24-Сен-15, 11:03 (107) //
    - Часто слышу такое высказывание Пруф будет , Аноним, 26-Сен-15, 12:41 (142)
      - просто такие студенты не умеют ещё и в бенчмарки сначала запускают цпп 8208 ва, arisu, 30-Сен-15, 22:31 (152)
      - Пруф на что На то как плохо можно написать программу на любом языке , imprtat, 02-Ноя-15, 01:42 (174)
Зачем надо было вообще писать базу данных на тормозной Java , th3m3, 23-Сен-15, 14:30 (2) //
- Чтобы потом переписать на быстром С , Аноним, 23-Сен-15, 14:35 (4) //
  - а потом на ещё быстром C , Аноним, 23-Сен-15, 15:45 (21) //
    - А почему думаете, что C перестанет быть быстрым , Аноним, 23-Сен-15, 15:53 (22)
      - я как раз и написал что после C возможно следующим щагом будет переписать на C, Аноним, 23-Сен-15, 15:58 (25)
        
        Вас и спрашивают, почему вы думаете что на С или ассемблере будет работать ощути, Анонимоус, 23-Сен-15, 16:55 (38)
        
        Потому, что лишнего не делает, когда не просят --- code include iostream using, pavlinux, 23-Сен-15, 21:07 (62)
        
        Какая глупость мерять oneliner-ом А на проекте из 500килострочек си может оказа, Классический анонимус, 24-Сен-15, 05:05 (86)
        
        Жаба по определению не может быть быстрее , pavlinux, 26-Сен-15, 23:25 (147)
        
        в с для корректной работы main необходимо сделать предварительные танцы с бу, guest, 24-Сен-15, 12:19 (116)
        
        А если я С начну оптимизировать code void main char A xeb x2a x5e x8, pavlinux, 26-Сен-15, 23:16 (145)
        
        Не быстрее, Anonim, 23-Сен-15, 17:39 (43)
        конечно на ассемблере как neon на армах и прочие simd публикация исходников, guest, 24-Сен-15, 12:14 (115)
        
        вместо чтобы сразу взять нормальный язык 8212 D, например, 8212 и не писат, arisu, 30-Сен-15, 22:34 (153)
- Если учесть что понять яву ни сколько не проще, чем понять пюсы, вообще странно , _KUL, 23-Сен-15, 14:42 (7) //
  - ну это скорее вопрос упоротости разрабов, а не языка , vitalif, 23-Сен-15, 14:55 (11)
  - Проще её понять Она громоздкая как чёрт знает что для практических применений , Crazy Alex, 23-Сен-15, 16:11 (31) //
    - Если Java-библиотеки т н Jar-hell переписать на С , что-то в них станет прощ, Вареник, 24-Сен-15, 06:53 (88)
      - Я что-то писал про проще Менее громоздко - станет За счёт возможности выкину, Crazy Alex, 24-Сен-15, 09:49 (99)
    - Да уж, без библиотек и фреймворков на сипипи всё так легко и быстро пишется 8 , Классический анонимус, 24-Сен-15, 09:23 (96)
      - Конечно зависть Один человек на Java EE делают за четыре дня программу лояльност, ДяДя, 24-Сен-15, 09:45 (98)
      - Да просто выжгли себе мозг пытаясь понять всю тупость спецификации C , Аноним, 24-Сен-15, 09:50 (100)
      - 1 человек в вопросе пытается сделать фигню, так как, похоже, воощбще не понимае, Crazy Alex, 24-Сен-15, 10:00 (101)
        
        Мы прямо щас пишем прожку в VS10, никакого C 11 там нет Именно в теме на SO во в, Классический анонимус, 24-Сен-15, 11:14 (109)
        
        Ваши проблемы, если вы сидите на каой-то хрени, которая отродясь стандарты не мо, Crazy Alex, 24-Сен-15, 13:46 (118)
        Оно даже в С99 не может, куда им до новых плюсов-то , безымянный доброжелатель, 24-Сен-15, 15:05 (121)
        пишете на RUST, Аноним, 24-Сен-15, 16:02 (123)
        а на программируемых калькуляторах не пробовали там ещё больше можно задолбатьс, arisu, 30-Сен-15, 22:37 (155)
- Я всегда думала, что так же быстра как и C Но при переписывании на C , как пр, Xenia Joness, 23-Сен-15, 16:08 (29) //
  - Если взять средних разработчиков на плюсах и яве - так и было бы Но эту штуку, Crazy Alex, 23-Сен-15, 16:13 (33) //
    - зуб даешь , Аноним, 23-Сен-15, 23:05 (75)
      - Что спецы высококвалифицированные Разумеется По тому, что вообще подобное осил, Crazy Alex, 23-Сен-15, 23:44 (79)
      - ты, когда всё 8208 таки найдёшь правильный сайт стоматологии, ещё и к окулисту , arisu, 30-Сен-15, 22:39 (156)
  - http bit ly 1G2oo6U, dr Equivalent, 23-Сен-15, 16:34 (35)
  - Возможное появление уязвимостей при переписывании на C с лихвой компенсируется, Аноним, 23-Сен-15, 16:39 (36) //
    - А приведите примеры опасного кода на JavaЯ большого опыта программирования на не, Анонимоус, 23-Сен-15, 16:58 (39)
      - public class MainClass public static void main String args int inChar, жаба, 23-Сен-15, 19:05 (49)
        
        да здравствует говнокод Если ты даже в такой простой программке умудрился допус, Xenia Joness, 24-Сен-15, 09:42 (97)
  - Вот это - совершенно не факт У явы рантайм делает много чего лишнего И на чист, Аноним, 23-Сен-15, 19:16 (51) //
    - На задаче - обрабатывать файл с недействительными паспортами РФ качается с сайт, Классический анонимус, 24-Сен-15, 05:10 (87)
      - Запросто, как раз тот случай, когда в сях у тривиальной реализации с аллокациями, Crazy Alex, 24-Сен-15, 10:05 (102)
        
        ну дык тело, похоже, даже в более 8208 менее нормальную реализацию хэш 8208 та, arisu, 30-Сен-15, 22:42 (158)
      - Тьфу, что-то я туплю Какие джавы Какие самописные программы sort если оригин, Crazy Alex, 24-Сен-15, 10:30 (105)
        
        вчера хранится в СУБД Если хранить его ещё и в файле, то возможна неконсистен , Классический анонимус, 24-Сен-15, 12:03 (113)
        
        Кстати, Штатный линуксовый diff написанный на си даже не с наверное , кушае, Классический анонимус, 24-Сен-15, 12:04 (114)
        
        Хм, уже интересно стало, сейчас докачается - пропробую наваять наскидку - тоже в, Crazy Alex, 24-Сен-15, 14:24 (119)
        
        А в чём проблемы с загрузкой 100 млн строк в оракл 1 Гб данных на час что-то , Аноним, 11-Ноя-15, 12:47 (175)
        
        Хотя если на каждую строку один запрос то возможно , Аноним, 11-Ноя-15, 12:48 (176)
      - Убейте архитектора системы - можно об стенку такие вещи НЕ пишут на java c и пр, fi, 25-Сен-15, 01:21 (132)
        
        Oracle за полчаса Читать учись Или мускуль такой крутой стал что делаем меньше, Классический анонимус, 25-Сен-15, 05:13 (133)
      - рукожопие 8212 это врождённое, потому что , arisu, 30-Сен-15, 22:41 (157)
  - Банки любят Oracle и всякие WebSphere с поядерными лицензиями Возможно откаты, , Вареник, 24-Сен-15, 06:58 (89)
  - Вот же жесть Забаньте уже эту блондинку тролля Молю , th3m3, 24-Сен-15, 11:21 (110)
- Вы наверное прочитали только первые два абзаца Там ниже, под картинками, архите, Очередной аноним, 24-Сен-15, 08:52 (94) //
  - Современная беда - это разные уровни развития ЦП и ОЗУ Теперь на Java это проще , ДяДя, 24-Сен-15, 10:15 (104)
Для Cassandra это, пожалуй, приговор , freehck, 23-Сен-15, 14:34 (3) //
- Через пару-тройку лет, если эта штука покажет свою надёжность - может и да Сегм, Crazy Alex, 23-Сен-15, 14:39 (5) //
  - Возможно прирост производительности по большей части за счет Seastar, чем за сче, Аноним, 23-Сен-15, 15:06 (12) //
    - Если графики на Seastar про memcached посмотреть, то там тоже прирост колоссальн, Аноним, 23-Сен-15, 15:09 (15)
    - http www scylladb com technology status говорит, что еще есть спектр задач, к, max, 23-Сен-15, 17:15 (41)
    - Или просто трэша в рантайме Там такого есть На хабре навалом примеров как можн, Аноним, 23-Сен-15, 19:18 (52)
  - Вроде бы как в новости описан и подвох Там, где про карты интела Избавление от, тоже Аноним, 23-Сен-15, 19:30 (54) //
    - только если бы там была Ява - это были бы мертвому припарки , Аноним, 23-Сен-15, 23:07 (76)
    - Ага, вижу - это позже добавили, кажется Но это небольшой подвох - там, где нужн, Crazy Alex, 23-Сен-15, 23:46 (80)
      - Проблемы могут появиться, когда это подобранное железо устареет Впрочем, пока с, тоже Аноним, 24-Сен-15, 11:05 (108)
        
        Это не один год, елси будет хоть какой-то интерес - будут поддерживать Да и сов, Crazy Alex, 24-Сен-15, 14:56 (120)
      - Более того там где нужны Cassandra Hadoop, добавить поддержку нужной железки - , Aleks Revo, 26-Сен-15, 11:25 (139)
  - Вряд ли разрыв сохранится на годы Затюнят Java под конкретный case и разрыв ста, Вареник, 24-Сен-15, 07:03 (90)
Installing Scylla on Ubuntu or Debian-based systemsComing Soon, Аноним, 23-Сен-15, 14:40 (6) //
- Ну логично - редхаты и производные им всяко важнее, а вылавливать приколы платфо, Crazy Alex, 23-Сен-15, 14:43 (9)
Ключ значения уже мало, а хэши нормальные только в Cassandra Давно хотел её по, Аноним, 23-Сен-15, 14:42 (8)
крутые программисты эти Ави Кивити и Дор Лаор кстати, имена как из научной фант, Штунц, 23-Сен-15, 14:43 (10) //
- Ага, как в книгах про Джона Картера , Челодой моловек, 23-Сен-15, 15:08 (14)
- Из Ефремова, например , Аноним, 23-Сен-15, 15:11 (16) //
  - Кстати да, kravich, 24-Сен-15, 15:15 (122)
- Видимо теперь чтобы писать на сях - надо родиться на марсе Угрюмое будущее , Аноним, 23-Сен-15, 16:03 (26)
- что за чушь обычные для Израильтян имена, vasa, 26-Сен-15, 21:36 (144) //
  - внезапно, 171 туманность андромеды 187 заиграла совсем новыми и неожиданными, arisu, 30-Сен-15, 22:48 (159)
Если найдется фрик который фо фан перепишет на pure c то ждем еще двухкратного в, ram_scan, 23-Сен-15, 15:08 (13) //
- На правах тролля зачем нам эти жалкие полумеры, asm , Sb, 23-Сен-15, 15:15 (17) //
  - На правах гипертролля зачем нам эти жалкие полумеры Только машинный код, тольк, Aleks Revo, 26-Сен-15, 11:29 (140)
- Очень не факт Низкий уровень там и так, похоже, выжали как могли и плюсы в это, Crazy Alex, 23-Сен-15, 15:26 (19) //
  - Раз не факт, то что на C быстрее Плюсов, то может поправишь плюсовый код для бэн, Аноним, 23-Сен-15, 15:53 (23) //
    - k-nucleotide Нет тут помощник нужен , Аноним, 23-Сен-15, 16:06 (28)
    - Раз С быстрее плюсов и вообще, всего остального , может поправишь сишный код та, Аноним, 23-Сен-15, 16:10 (30)
    - а может лучше подучите плюсы и перестаните злоупотреблять ооп и шаблонами школот, Аноним, 23-Сен-15, 16:11 (32)
    - Хм, а вот обратный пример http benchmarksgame alioth debian org u32 performan, Crazy Alex, 23-Сен-15, 16:21 (34)
Сравнения производительности с MongoDB еще нигде не засветились , Аноним, 23-Сен-15, 15:19 (18) //
- А чего там смотреть Тут вон приведён график с _миллионом_ транзакций в секунду н, Анончик, 23-Сен-15, 15:35 (20) //
  - Причём запись у них быстрее чтения, Аноним, 23-Сен-15, 20:21 (56) //
    - У кассандры запись всегда была быстрее чтения, Аноним, 24-Сен-15, 00:35 (82)
  - На сферическом сервере в вакууме , Аноним, 23-Сен-15, 22:54 (70) //
    - На продакшн MongoDB тем более лучше не ставить , Вареник, 24-Сен-15, 07:33 (91)
https github com scylladb scylla wiki Scylla-and-Cassandra-DifferencesЕсли пис, Hmm, 23-Сен-15, 15:56 (24) //
- Супер Отлично продемонстрирован нехороший эффект от false sharing Возьмите в Ja, ДяДя, 23-Сен-15, 18:15 (46) //
  - Ну да, только там еще в рантайме потом какая-нибудь пакость с жуткой неоптимальн, Аноним, 23-Сен-15, 19:24 (53)
- Количество not supported настораживает Бесполезная технодемка какая-то , Аноним, 23-Сен-15, 22:56 (71)
оно умеет читать и менять ключ в одной транзакции залочив ключ или хотя бы как m, Аноним, 23-Сен-15, 16:47 (37) //
- читаем доки по кассандре, не ленимся, max, 23-Сен-15, 17:02 (40) //
  - дружище ответь на вопросы ПОЖАЛУЙСТА может оно мне вообще не подходит и копать, Аноним, 23-Сен-15, 17:31 (42) //
    - вот только ни одной причины, по которой другие должны читать документацию за теб, arisu, 30-Сен-15, 22:52 (160)
- Как я понял все зависит от настроек если replication_factor 1 то всегда хранит, Аноним, 24-Сен-15, 11:30 (111) //
  - Задачса с товарами - для реляционной БД Cassandra менее удобна, менее стандарти, Dmitry77, 11-Ноя-15, 19:04 (177)
А что же скажет Изен , andy, 23-Сен-15, 18:15 (45) //
- А можно я вместо него https github com scylladb scylla wiki Scylla-and-Cassand, GrAndSE, 23-Сен-15, 21:37 (66) //
  - Подгонка под железо ОС - ерунда Не на неведомых арендованых VDS же кластер гоня, Crazy Alex, 23-Сен-15, 23:48 (81)
linux only, Аноним, 23-Сен-15, 18:42 (47) //
- Аналитические выводы с высоты дивана , Аноним, 23-Сен-15, 20:39 (59)
- Как будто что-то плохое , Аноним, 23-Сен-15, 21:33 (65) //
  - вендор локин - это всегда что-то плохое доказанно виндой ia32, б.б., 24-Сен-15, 02:28 (84) //
    - Ай-яй-яй, опять буратина пролетел со своей бздой, как фанера над парижем Кушай-, Аноним, 24-Сен-15, 03:12 (85)
- Для любителей ПЭКЭДЖЕЙ , bOOster, 28-Сен-15, 06:34 (148)
Отлично, есть ведь ещё люди Ээээ стоп-стоп-стоп А ну ка поподробнее - они п, Аноним, 23-Сен-15, 21:31 (64) //
- https en wikipedia org wiki Data_Plane_Development_KitРеализация ipsec без DPD, Аноним, 24-Сен-15, 08:48 (93) //
  - gt оверквотинг удален Ха, отлично, зато синтетика тесты прямо ураган когда с т, bOOster, 28-Сен-15, 06:36 (149)
Эти попугаи, которых в десять раз больше - не о чем Миллион запросов в секунду , Аноним, 24-Сен-15, 01:56 (83) //
- Подозрительным выглядит демонстрацию тестов одного узла и отсутствие тестов клас, Аноним, 24-Сен-15, 08:10 (92)
- Очнись, современные SSD выдают 2 5 Гбайта в секунду и 300-800 тысяч IOPS с одной, Аноним, 24-Сен-15, 09:02 (95) //
  - Видели мы те приложения, угу Майнкрафт запускать - ещё не всякий дектоп потянет, Аноним, 24-Сен-15, 13:38 (117)
  - Это где такие скорости В лабораторных условиях, разве что У современных SSD 800, iZEN, 24-Сен-15, 22:15 (126) //
    - А ты ынтырпрайзные SSD видал когда-нибудь В PCI-E например втыкаемые Они быстр, Аноним, 24-Сен-15, 23:40 (130)
      - Так и сравнивать их надо с пачкой саташных коробочек , а не с одной Учитывая, , Aleks Revo, 26-Сен-15, 11:54 (141)
- В тесте натянуто все Упираются в сетевой IO, о влиянии дискового IO информации , Вареник, 24-Сен-15, 10:12 (103)
На счет Java vs C Я думаю спорить незачем С дефакто к сформирован коммьюнити, DD, 25-Сен-15, 00:25 (131) //
- Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..., anonymous, 25-Сен-15, 16:08 (136) //
  - Это никак не меняет все мои доводы , DD, 26-Сен-15, 16:54 (143)
  - Чем больше циферка после С XX и CXX - тем больше языки становятся похожи друг н, bOOster, 28-Сен-15, 06:49 (150)
- 8230 а вот тут согласен о чём можно 171 спорить 187 с дешёвой глупой прос, arisu, 30-Сен-15, 22:55 (161)
Кстати, Java Concurrency in 2015New, asynchronous shared-nothing platforms and, Классический анонимус, 25-Сен-15, 08:27 (134) //
- А некоторые даже почти без генерации мусора обходятся, если цель есть такая ht, ДяДя, 25-Сен-15, 10:36 (135)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру