The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Рекорд скорости сортировки улучшен в 3 раза. NVIDIA выпустила персональный кластер

24.11.2008 09:28

Представители Google объявили, что добились снижения времени сортировки 1 Терабайта данных (текстовые файлы с 10 миллиардами записей по 100 байт) на 1000 компьютерах до 68 секунд. Прошлый рекорд скорости сортировки 1 Тб данных составлял 209 секунд на 910 компьютерах.

Сортировка 1 Петабайта данных была выполнена за 6 часов 2 минуты. Для выполнения операции было задействовано 4 тысячи компьютеров, операции были распараллелены при помощи программной модели MapReduce.

В июне в новостях проходила информация о построении энтузиастами самодельного кластера на базе четырех видеокарт NVIDIA GeForce 9800 GX2 (в сумме 8 GPU), по производительности равный кластеру из 300 ПК с Intel Core 2 Duo 2.4GHz. На днях компания NVIDIA официально представила похожий продукт - персональный суперкомпьютер с производительностью 4 TeraFLOPS (одинарная точность), выполненный в форм-факторе обычной десктоп-машины и продающийся по цене ниже 10 тыс. долларов. Основу суперкомпьютера составляет 4 GPU Tesla C1060 (в 1 GPU - 240 ядер, работающих на частоте 1.296 GHz, в сумме - 960 ядер), каждый GPU имеет производительность около 1 TeraFLOPS при выполнении операций с плавающей точкой одинарной точности (32 бита) или 80 GigaFLOPS - двойной точности (64 бита). Интегрированные GPU нацелены на выполнение исключительно вычислительных задач. Энергопотребление суперкомпьютера составляет 820 Вт.

Для разработки программ поставляется инструментарий разработчика на языке Си с использованием модели программирования CUDA (Compute Unified Device Architecture), позволяющей использовать GPU для выполнения вычислительных задач. Поддержка CUDA уже присутствует во многих математических пакетах, например в Mathematica, LabView, ANSYS Mechanica. Официально поддерживаются 32 и 64-разрядные сборки Linux дистрибутивов Red Hat Enterprise Linux 4.x и 5.x, SUSE 10.1, 10.2 и 10.3.

  1. Главная ссылка к новости (http://googleblog.blogspot.com...)
  2. OpenNews: Анализ архитектуры кластера Google.
  3. OpenNews: Архитектура Google
  4. OpenNews: Архитектура сервиса Google Talk
  5. OpenNews: Суперкомьютер из 8 GPU заменил кластер из трехсот ПК
  6. OpenNews: Увидела свет открытая система обработки терабайтных массивов информации - CloudBase
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/19054-sort
Ключевые слова: sort, google
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (27) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, Zlobec (?), 10:29, 24/11/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А если из них кластер собрать?
     
     
  • 2.3, Furcube (ok), 11:49, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    можно будет снабжать горячей водой прилегающие кварталы
     
     
  • 3.4, SlOPS (??), 13:30, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Наоборот, окружающие кварталы останутся без горячей воды. Это даже меньше чем накопительный водонагреватель.
     
     
  • 4.6, PereresusNeVlezaetBuggy (ok), 14:06, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Значит, кварталы останутся без холодной воды. ;)
     

  • 1.5, User294 (ok), 13:36, 24/11/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Терафлопс, терафлопс... а оказывается что терафлопс - только для никому особо не нужной (кроме игрушечников разве что) кастрированной плавучки.А нормальная, двойной точности - "80 GigaFLOPS - двойной точности (64 бита)".Итого - за жонглерство цифрами маркетологам зачет.А реалии как всегда не столь красивы как обещали...

    ЗЫ и вообще, "коммерческий терафлопс" легко даст фору "коммерческому гигабайту".По степени надувалова ессно ;)

     
     
  • 2.13, PereresusNeVlezaetBuggy (ok), 17:39, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Терафлопс, терафлопс... а оказывается что терафлопс - только для никому особо не
    >нужной (кроме игрушечников разве что) кастрированной плавучки.А нормальная, двойной точности -
    >"80 GigaFLOPS - двойной точности (64 бита)".Итого - за жонглерство цифрами
    >маркетологам зачет.А реалии как всегда не столь красивы как обещали...
    >
    >ЗЫ и вообще, "коммерческий терафлопс" легко даст фору "коммерческому гигабайту".По степени надувалова
    >ессно ;)

    Положим, насчёт гигабайтов-то на самом деле надувают все остальные, окромя производителей винтов и иже с ними. То, что люди обычно зовут гигабайтами, вообще-то суть гибибайты. ;)

     
     
  • 3.17, User294 (??), 19:41, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    А термин гибибайт насколько я понимаю придумали позже чем гигабайт.И ввели его в обращение даже не потому что так правильнее а как раз из-за того что коммерсанты стали наглеть, завышая емкость дисков.
     
     
  • 4.18, PereresusNeVlezaetBuggy (ok), 19:47, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >А термин гибибайт насколько я понимаю придумали позже чем гигабайт.И ввели его
    >в обращение даже не потому что так правильнее а как раз
    >из-за того что коммерсанты стали наглеть, завышая емкость дисков.

    "Гибибайт" был стандартизирован примерно одновременно с началом "завышения", и ещё неизвестно, что после чего началось. :) А вот значение термина "гигабайт" не менялось.

     
     
  • 5.20, User294 (??), 23:33, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >"Гибибайт" был стандартизирован примерно одновременно с началом "завышения",

    Сам феномен завышения основан на том что все под термином "гигабайт" понимали тот гигабайт который происходит из степеней двойки, а вовсе не тот который в десятичной системе а тут вдруг производители прикинули - так цифирь больше получается совершенно задаром и без затрат.Помнится данный прикидон с элементами прокидона в результате дорого обошелся сигейту.Который в конце концов за это таки засудили... ;)

    >и ещё неизвестно, что после чего началось. :)

    Вам - может и неизвестно.А я с древних времен привык что "в килобайте 1024 байта.В мегабайте 1024 килобайта.В гигабайте 1024 мегабайта".И не ...ет!Если кому-то охота называть их киби-что-то-там чтобы дифференцировать правильные гигабайты от коммерческих гигабайтов формально имеющих право на существование в десятичной системе счисления - я тут не при чем.И я не виноват что откуда-то пошла такая ITшная фича - "не совсем правильно" называть гигабайтами то что происходит от степени двойки а не десятки.

    >А вот значение термина "гигабайт" не менялось.

    Ага, а хотите подлый вопрос?Флоппик.Дискетка то бишь, которая 3.5"На 1.44Mb.Ну-ка скажите, а 1.44 чего там в этих ваших терминах? =)

     
     
  • 6.21, PereresusNeVlezaetBuggy (ok), 00:24, 25/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    >
    >>и ещё неизвестно, что после чего началось. :)
    >
    >Вам - может и неизвестно.А я с древних времен привык что "в
    >килобайте 1024 байта.В мегабайте 1024 килобайта.В гигабайте 1024 мегабайта".И не ...ет!Если
    >кому-то охота называть их киби-что-то-там чтобы дифференцировать правильные гигабайты от коммерческих
    >гигабайтов формально имеющих право на существование в десятичной системе счисления -
    >я тут не при чем.И я не виноват что откуда-то пошла
    >такая ITшная фича - "не совсем правильно" называть гигабайтами то что
    >происходит от степени двойки а не десятки.

    Боюсь вас огорчить, я в курсе всех этих вещей и событий. ;) А "неизвестно, что после чего началось" относилось к вашему утверждению, что термин "гибибайт" был введён после того, как производители дисков (не спорю, явно из соображений экономии, а не правильности наименования) начали по-новому считать объём дисков.

    Речь-то о том, что ИТ-шники сами себя надули. Разве кого-то заставляли использовать некорретные (это было известно изначально) названия?

    >>А вот значение термина "гигабайт" не менялось.
    >
    >Ага, а хотите подлый вопрос?Флоппик.Дискетка то бишь, которая 3.5"На 1.44Mb.Ну-ка скажите, а
    >1.44 чего там в этих ваших терминах? =)

    1,44 кебикилобайт. ;) Вы за примерами в Википедию ходили, я угадал? ;)

     
     
  • 7.24, User294 (ok), 04:53, 26/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >явно из соображений экономии, а не правильности наименования) начали по-новому считать
    >объём дисков.

    Просто до этих пор всех устраивал "двоичный" мегабайт.Пусть он и "неправильно" называется но это все воспринимали как данность и никому и в бошку не приходило что-то там про какие-то киби и гиби выдавать.Достаточно почитать литературу тех времен и не греть нам мозг.

    >Речь-то о том, что ИТ-шники сами себя надули. Разве кого-то заставляли использовать
    >некорретные (это было известно изначально) названия?

    Мало ли что там некорректное.Из-за IT появилось дохрена разных терминов.Винчестер - винтовка такая, а вовсе не жесткий диск.И что, мне теперь винты перестать так называть?Умрете с этой мечтой =)

    >1,44 кебикилобайт. ;)

    Сами вот ЭТО слово и выговаривайте.Даже если оно правильное я так чирикать учиться не собираюсь ;)

    >Вы за примерами в Википедию ходили, я угадал? ;)

    Хм... я флопиками пользовался до того как о википедии вообще кто-то впервые услышал.Кстати 5" еще юзал в свое время.А потом игрался с небезызвестной некоторым утилиткой 2M (да, про нее в вики кстати тоже есть, хоть и не полно и не совсем корректно).Прикиньте? =)

     
     
  • 8.25, PereresusNeVlezaetBuggy (ok), 08:36, 26/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Зачем литературу Я и так всё прекрасно помню Суть это не меняет ниже Ви... большой текст свёрнут, показать
     

  • 1.7, andr.mobi (??), 14:21, 24/11/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Да, вот это железяка хакеру на стол! Числогрыз! И реально недорого! А лет через десять такая машина будет стоить около $1000, наверное. Однако
     
     
  • 2.9, mv (??), 14:45, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    И чего на ней грызть? single-float в научных расчётах никому нафиг не сдался. Даже double-float не везде хватает.
     
     
  • 3.26, Ононим (?), 08:56, 26/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >И чего на ней грызть? single-float в научных расчётах никому нафиг не
    >сдался. Даже double-float не везде хватает.

    брутфорс целочисленных ключей ^_^

     

  • 1.8, andr.mobi (??), 14:26, 24/11/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    И ЛягуНаРельсы(c), если через 10 лет тогдашний маздай не будет отжирать 50% процессоров этого монстра для какой-нибудь банальности, типа копирования файлов
     
  • 1.10, Игорь (??), 15:23, 24/11/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    а на старом уже не катит, думали, думали и наконец...
    "по производительности равный кластеру из 300 ПК с Intel Core 2 Duo 2.4GHz. На днях компания NVIDIA официально представила похожий продукт" - это как???
     
     
  • 2.11, Georges (ok), 17:35, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Нвидию допёрло что можно сделать кластер
     
  • 2.12, Frank (??), 17:36, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Видимо, имеется ввиду, что такое же Г... :)
     

  • 1.14, Аноним (14), 17:46, 24/11/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >а базе четырех видеокарт NVIDIA GeForce 9800 GX2 (в сумме 8 GPU), по
    >производительности равный кластеру из 300 ПК с Intel Core 2 Duo 2.4GHz

    Чет я не понял, как такое может быть...Всегда вроде видеокарты были слабее процессоров...У моей 6800 GT, например, 350 мегагерц всего, а у процессора в 10 раз больше...

     
     
  • 2.15, PereresusNeVlezaetBuggy (ok), 17:50, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>а базе четырех видеокарт NVIDIA GeForce 9800 GX2 (в сумме 8 GPU), по
    >>производительности равный кластеру из 300 ПК с Intel Core 2 Duo 2.4GHz
    >
    >Чет я не понял, как такое может быть...Всегда вроде видеокарты были слабее
    >процессоров...У моей 6800 GT, например, 350 мегагерц всего, а у процессора
    >в 10 раз больше...

    А вы в лес за грибами поедете на Lamborgini Diablo SV или на УАЗ 469Б? ;)

     
     
  • 3.22, ezhik (?), 01:23, 26/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    > А вы в лес за грибами поедете на Lamborgini Diablo SV или на УАЗ 469Б? ;)

    За грибами на УАЗ. А за кокосами на Lamborgini сподручнее. На чем за плюшками не определился.

    Шутка.

     
     
  • 4.23, PereresusNeVlezaetBuggy (ok), 01:35, 26/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >> А вы в лес за грибами поедете на Lamborgini Diablo SV или на УАЗ 469Б? ;)
    >
    >За грибами на УАЗ. А за кокосами на Lamborgini сподручнее. На чем
    >за плюшками не определился.

    За плюшками, как известно, сподручнее всего на пропеллере и с пылесосом. Лишь бы корицы не жалели. ;)

     
  • 2.16, Аноним (-), 18:07, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>а базе четырех видеокарт NVIDIA GeForce 9800 GX2 (в сумме 8 GPU), по
    >>производительности равный кластеру из 300 ПК с Intel Core 2 Duo 2.4GHz
    >
    >Чет я не понял, как такое может быть...Всегда вроде видеокарты были слабее
    >процессоров...У моей 6800 GT, например, 350 мегагерц всего, а у процессора
    >в 10 раз больше...

    Все так же думаете, что дело в мегагерцах?
    Количество ядер сравни на своей видюшке и в своем процессоре.

     
  • 2.27, aurved (?), 20:57, 26/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    архитектура x86 от рождения уебищна до ужаса и в процах Intel производительность принесена в жертву совместимости с устаревшим набором команд
     

  • 1.19, WhiteWind (??), 20:00, 24/11/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >в 1 GPU - 240 ядер
    >Количество ядер сравни на своей видюшке и в своем процессоре.

    Может, всё-таки, не ядер, а конвееров?

     
     
  • 2.28, const (??), 18:17, 27/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    > Может, всё-таки, не ядер, а конвееров?

    Хоть горшком назови. Почти всю работу эти ядра-конвейеры делят между собой и выполняют параллельно. По аналогии с ядрами CPU.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру