The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы
правила/FAQ
поиск
регистрация
вход
слежка
RSS


Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..., opennews (??), 23-Сен-15, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


29. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  –7 +/–
Сообщение от Xenia Joness (ok), 23-Сен-15, 16:08 
Я всегда думала, что так же быстра как и C++.
Но при переписывании на C++, как правило, появляется огромное число уязвимостей, т.к. Java гораздо безопаснее C++ (поэтоу софт для банковских сфер и пр. ответвенных направлений пишется на Java). Вообщем жду новости такого типа: "злоумышленники взломали ScyllaDB и получили доступ к 100500 банковским картам, банк срочно откатывается назад на Cassandra"
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

33. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +1 +/–
Сообщение от Crazy Alex (ok), 23-Сен-15, 16:13 
Если взять "средних" разработчиков на плюсах и яве - так и было бы. Но эту штуку писали отнюдь не "средние", а высококвалифицырованные спецы. У которых нет проблем с архитектурой и пониманием, как что происходит - поэтому не будет там никакого огромного числа уязвимостей.
Ответить | Правка | Наверх | Cообщить модератору

75. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +/–
Сообщение от Аноним (-), 23-Сен-15, 23:05 
зуб даешь?
Ответить | Правка | Наверх | Cообщить модератору

79. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +1 +/–
Сообщение от Crazy Alex (ok), 23-Сен-15, 23:44 
Что спецы высококвалифицированные? Разумеется. По тому, что вообще подобное осилили, видно. Что штука годится в продакшн? Нет, конечно. Подождём пару лет, поглядим - если хорошо себя покажет - можно будет пользоваться. Такие вещи длдя мелочей не применяются, так что спешить не надо.
Ответить | Правка | Наверх | Cообщить модератору

156. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra,..."  +1 +/–
Сообщение от arisu (ok), 30-Сен-15, 22:39 
> зуб даешь?

ты, когда всё‐таки найдёшь правильный сайт стоматологии, ещё и к окулисту запишись — оно пригодится.

Ответить | Правка | К родителю #75 | Наверх | Cообщить модератору

35. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +/–
Сообщение от dr Equivalent (ok), 23-Сен-15, 16:34 
> Java
> безопасность

http://bit.ly/1G2oo6U

Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

36. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +2 +/–
Сообщение от Аноним (-), 23-Сен-15, 16:39 
Возможное появление уязвимостей при переписывании на C++ с лихвой компенсируется уязвимостями в JVM. Разница лишь в том, что для С++ нужно проверять только качество кода программы, а для JVM и программы, и JVM.
Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

39. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +2 +/–
Сообщение от Анонимоус (?), 23-Сен-15, 16:58 
> Возможное появление уязвимостей при переписывании на C++ с лихвой компенсируется уязвимостями
> в JVM. Разница лишь в том, что для С++ нужно проверять
> только качество кода программы, а для JVM и программы, и JVM.

А приведите примеры опасного кода на Java
Я большого опыта программирования на нем нет, но хотел бы иметь представление, чтобы пердеть в джавистов заряженными эм... орешками)

Ответить | Правка | Наверх | Cообщить модератору

49. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  –1 +/–
Сообщение от жаба (?), 23-Сен-15, 19:05 
public class MainClass {

  public static void main(String[] args) {
    int inChar;
    System.out.println("Enter a Character:");
    inChar = System.in.read();
    System.out.print("You entered ");
    System.out.println(inChar);
}

Ответить | Правка | Наверх | Cообщить модератору

97. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  –4 +/–
Сообщение от Xenia Joness (ok), 24-Сен-15, 09:42 
>А приведите примеры опасного кода на Java
>> public class MainClass {
>>   public static void main(String[] args) {
>>     int inChar;
>>     System.out.println("Enter a Character:");
>>     inChar = System.in.read();
>>     System.out.print("You entered ");
>>     System.out.println(inChar);
>> }

да здравствует говнокод. Если ты даже в такой простой программке умудрился допустить столь грубую ошибку, наверное тебе пора в школу собираться. Хотя бы так написал бы так

import java.io.IOException;
public class MainClass {

   public static void main(String[] args) throws IOException {
   int inChar;
   System.out.println("Enter a Character:");
   inChar = System.in.read();
   System.out.print("You entered ");
   System.out.println(inChar);
}

Но и этот говнокод безопаснее кода на C/C++.

>> Я большого опыта программирования на нем нет, но хотел бы иметь представление,
>> чтобы пердеть в джавистов заряженными эм... орешками)

боюсь, что у вас не хватит квалификации, чтобы совершать данные деяния, ибо среднестатический джавист уммнее среднестатического анонимуса с опеннета.

Ответить | Правка | Наверх | Cообщить модератору

51. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  –1 +/–
Сообщение от Аноним (-), 23-Сен-15, 19:16 
> Я всегда думала, что так же быстра как и C++.

Вот это - совершенно не факт. У явы рантайм делает много чего лишнего. И на чисто алгоритмическом коде, например сжатии - ява продует сям разика так в три. И вообще, рантайм явы может подложить немало подлян, странно реализуя самые базовые операции. Так что в иных случаях и в 10 раз быстрее - не предел.

> Но при переписывании на C++, как правило, появляется огромное число уязвимостей,

А то что в жабистом рантайме их затыкают по 30 штук в каждой версии - вас не смущает?

> взломали ScyllaDB и получили доступ к 100500 банковским картам, банк срочно
> откатывается назад на Cassandra"

Ну вот когда и если - тогда и приходите. А учитывая квалификацию жабистов - скорее взломают кассандру. Ну а что, вон кучу всего на питонах, пыхе, рубях и прочая - ломают. И вебня давно обставила си в вопросах дырявости.

Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

87. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +3 +/–
Сообщение от Классический анонимус (?), 24-Сен-15, 05:10 
> Вот это - совершенно не факт. У явы рантайм делает много чего
> лишнего. И на чисто алгоритмическом коде, например сжатии - ява продует
> сям разика так в три. И вообще, рантайм явы может подложить
> немало подлян, странно реализуя самые базовые операции. Так что в иных
> случаях и в 10 раз быстрее - не предел.

На задаче - обрабатывать файл с недействительными паспортами РФ (качается с сайта ФМС), это 93 миллиона коротких стрингов (номер+серия), джабка оказалась быстрее си. Ну, рамы ела 4ГБ против 1, но это ерунда.

Полностью смысл задачи - взять сегодняшний файл и вчерашний, выделить дельту и засунуть в базу - последний шаг уже не бенчмаркался. Хотя jdbc-драйвер для Оракла на джаве тоже прямее, чем сишная поделка :)

Ответить | Правка | Наверх | Cообщить модератору

102. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +/–
Сообщение от Crazy Alex (ok), 24-Сен-15, 10:05 
Запросто, как раз тот случай, когда в сях у тривиальной реализации с аллокациями тормоза, а в жабе они шустрые, а gc на такой адачке вообще ни разу не запустится, скорее всего. Решаемо при чуть вдумчивом подходе, рзумеется, чуть позже накидаю для примера.
Ответить | Правка | Наверх | Cообщить модератору

158. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra,..."  +/–
Сообщение от arisu (ok), 30-Сен-15, 22:42 
> Запросто, как раз тот случай, когда в сях у тривиальной реализации с
> аллокациями тормоза

ну дык тело, похоже, даже в более‐менее нормальную реализацию хэш‐таблиц не смогло. максимум смогло скачать, и то профэйлило в использовании.

Ответить | Правка | Наверх | Cообщить модератору

105. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +/–
Сообщение от Crazy Alex (ok), 24-Сен-15, 10:30 
Тьфу, что-то я туплю. Какие джавы? Какие самописные программы? sort (если оригинал не сортирован) + diff решат все ваши проблемы. Сортированный файл хранить до завтра, разумеется, и второй раз не сортировать.
Ответить | Правка | К родителю #87 | Наверх | Cообщить модератору

113. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +/–
Сообщение от Классический анонимус (?), 24-Сен-15, 12:03 
> Тьфу, что-то я туплю. Какие джавы? Какие самописные программы? sort (если оригинал
> не сортирован) + diff решат все ваши проблемы. Сортированный файл хранить
> до завтра, разумеется, и второй раз не сортировать.

"вчера" хранится в СУБД. Если хранить его ещё и в файле, то возможна неконсистентность.

Просто загрузка в СУБД (Oracle) нового файла - тормоза на полчаса.

Штатный линуксовый diff между 2 файлами по 100млн строк - тормоза на "больше часа".

Проги на джаве и си "выгрузить из СУБД, найти дельту, загрузить в СУБД" примерно одинаково на уровне 4-5 минут. На джаве шаг "найти дельту" около 40 секунд отрабатывает с fastutil.
Программу накидал за полчаса на стандартных и протестированных компонентах. Сишник 2 дня чё-то писал, переписывал, оптимизировал, в итоге скорость чуть ниже и ДРУГИЕ цифры. Т.е. у него ещё и баги надо было искать ;) При том, что сишник как прогер намного сильнее меня.

Ответить | Правка | Наверх | Cообщить модератору

114. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +1 +/–
Сообщение от Классический анонимус (?), 24-Сен-15, 12:04 
> Штатный линуксовый diff между 2 файлами по 100млн строк - тормоза на
> "больше часа".

Кстати, "Штатный линуксовый diff" написанный на си (даже не с++ наверное), кушает 8-9ГБ ОЗУ при сравнении двух файлов с 100млн строк :) Джава 3.5-4.

Ответить | Правка | Наверх | Cообщить модератору

119. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +/–
Сообщение от Crazy Alex (ok), 24-Сен-15, 14:24 
Хм, уже интересно стало, сейчас докачается - пропробую наваять наскидку - тоже в рамках получаса. Завтра ещё обновлённую базу скачаю, чтобы реальные данные были. Но насчёт памяти - точно странно, там же потоковая обработка, как можно приней сожрать больше, чем суммарный объём двух файлов - не понимаю. Впрочем, раз оно в базе - можно голову не морочить.
Ответить | Правка | Наверх | Cообщить модератору

175. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +/–
Сообщение от Аноним (-), 11-Ноя-15, 12:47 
А в чём проблемы с загрузкой 100 млн. строк в оракл? 1 Гб. данных на час что-то странное.
Ответить | Правка | К родителю #113 | Наверх | Cообщить модератору

176. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +/–
Сообщение от Аноним (-), 11-Ноя-15, 12:48 
> А в чём проблемы с загрузкой 100 млн. строк в оракл? 1
> Гб. данных на час что-то странное.

Хотя если на каждую строку один запрос то возможно :)

Ответить | Правка | Наверх | Cообщить модератору

132. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +/–
Сообщение от fi (ok), 25-Сен-15, 01:21 
Убейте архитектора системы - можно об стенку. такие вещи НЕ пишут на java/c и прочей лабуде- это задача (обратный поиск к пересечению) делает сама субд на раз! Подключаешь файл как таблицу и один селект вытягивает новые данные из нее, затем insert.  Даже мускль сделает вашу java как младенца.

зы. И этот ананист учит нас жизни???
  

Ответить | Правка | К родителю #87 | Наверх | Cообщить модератору

133. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +/–
Сообщение от Классический анонимус (?), 25-Сен-15, 05:13 
> Убейте архитектора системы - можно об стенку. такие вещи НЕ пишут на
> java/c и прочей лабуде- это задача (обратный поиск к пересечению) делает
> сама субд на раз!

Oracle за полчаса. Читать учись. Или мускуль такой крутой стал что делаем меньше. Чем за 40 сек то, что Оракля за полчаса?

Ответить | Правка | Наверх | Cообщить модератору

157. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra,..."  +1 +/–
Сообщение от arisu (ok), 30-Сен-15, 22:41 
> На задаче - обрабатывать файл с недействительными паспортами РФ (качается с сайта
> ФМС), это 93 миллиона коротких стрингов (номер+серия), джабка оказалась быстрее си.
> Ну, рамы ела 4ГБ против 1, но это ерунда.

рукожопие — это врождённое, потому что.

Ответить | Правка | К родителю #87 | Наверх | Cообщить модератору

89. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +/–
Сообщение от Вареник (?), 24-Сен-15, 06:58 
> Я всегда думала, что так же быстра как и C++.
> Но при переписывании на C++, как правило, появляется огромное число уязвимостей, т.к.
> Java гораздо безопаснее C++ (поэтоу софт для банковских сфер и пр.
> ответвенных направлений пишется на Java). Вообщем жду новости такого типа: "злоумышленники
> взломали ScyllaDB и получили доступ к 100500 банковским картам, банк срочно
> откатывается назад на Cassandra"

Банки любят Oracle и всякие WebSphere с поядерными лицензиями. Возможно откаты, возможно на душе спокойнее: размывание отвественности, типа мы же заплатили за продукт и за ТАКИЕ ДЕНЬГИ нам должны были поставить суперустойчивое ПО, а мы руками трогать не можем и если что - "это не мы". Или только частично мы, а не полностью.

Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

110. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."  +/–
Сообщение от th3m3 (ok), 24-Сен-15, 11:21 
Вот же жесть. Забаньте уже эту блондинку тролля. Молю.
Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей 		Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру