The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Поисковая технология Microsoft Kumo использует компоненты Apache Lucene

11.05.2009 22:41

Новая поисковая технология Microsoft Kumo, идущая на смену Live Search, базируется на open source компонентах, созданных в рамках проекта по разработке свободной поисковой системы Apache Lucene. Для хранения и обработки данных в Kumo используется Hadoop (напоминающая Google BigTable система для организации распределенных вычислений с использованием парадигмы map/reduce) и распределенная файловая система HDFS (Hadoop Distributed Filesystem). Hadoop распространяется под лицензией Apache 2.0, т.е. не обязывает раскрывать изменения кода.

  1. Главная ссылка к новости (http://news.cnet.com/8301-1350...)
  2. OpenNews: Cloudera готова изменить мнение о сложности развертывания Apache Hadoop
  3. OpenNews: Открыты исходные тексты кластерной БД, напоминающей Google BigTable
  4. OpenNews: Yahoo способствует созданию открытых средств для распределенных вычислений
  5. OpenNews: Лицензии Apache и GPL с точки зрения opensource бизнеса
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/21689-Hadoop
Ключевые слова: Hadoop, search, microsoft
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (27) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Александр (??), 23:13, 11/05/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Имеют полное право. Спонсоры как никак.
     
     
  • 2.4, fog (?), 00:03, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Эта ... а свои программисты в Microsoft есть?
     
     
  • 3.5, Аноним (-), 01:20, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • +1 +/
    это можно сказать в адрес любого, кто берет что-то чужое. Вот Ubunta на ядре Linux'а. Значит в Каноникал нет своих программистов?
     
  • 3.19, Аноним (-), 12:52, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    А это и есть их программисты. Microsoft является платиновым спонсором Apache foundation.
     
  • 2.25, User294 (??), 21:26, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Имеют полное право. Спонсоры как никак.

    Угу, конечно.В итоге как всегда выигрывает один микрософт а остальные сосут болт.Замечательно - так держать, даешь проприетарщину назад в массы.

     

  • 1.2, Аноним (-), 23:20, 11/05/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Понятно тогда, почему разработчики OpenBSD остались на Апаче версии 1.3 из-за лицензии. :)
     
     
  • 2.3, ононим (?), 23:25, 11/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Понятно тогда, почему разработчики OpenBSD остались на Апаче версии 1.3 из-за лицензии.
    >:)

    а какая лицензия у apache 1.3? да и причем тут OpenBSD? она тоже позволяет код закрыть, как и апач.

     
  • 2.8, User294 (??), 07:56, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >Понятно тогда, почему разработчики OpenBSD остались на Апаче версии 1.3 из-за лицензии.
    >:)

    А что, лицензия OpenBSD обязывает некрофильствовать? oO Ужас какой.

     
  • 2.9, iZEN (ok), 08:29, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >Понятно тогда, почему разработчики OpenBSD остались на Апаче версии 1.3 из-за лицензии.
    >:)

    Просто Apache 1.3 для однопроцессорных систем и не поддерживает SMP. В OpenBSD по сути инфраструктура поддержки исполнения на многоядерных процессорах (SMP) не развита, так что Apache 1.3 в самый раз.

    Вот, Apache 2.x использует преимущества SMP-архитектуры.


     
     
  • 3.12, uldus (ok), 09:11, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >Просто Apache 1.3 для однопроцессорных систем и не поддерживает SMP. В OpenBSD
    >по сути инфраструктура поддержки исполнения на многоядерных процессорах (SMP) не развита,
    >так что Apache 1.3 в самый раз.

    Чего-чего ? Apache 1.3, как и любое приложение параллельно обрабатывающие запросы несколькими процессами, все преимущества SMP задействует.

    >Вот, Apache 2.x использует преимущества SMP-архитектуры.

    Тем что 5 лет mod_php для мультитредового worker MPM  допиливали ? До сих пор в продакшин кроме  prefork MPM что-то использовать не рекомендуется, что делает логику работы с процессами Apache2 аналогичной Apache 1.3.

     
  • 3.13, old (?), 09:19, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Бред. Apache 2 использует потоки, а Apache 1.3 - нет.
    Вместо этого он запускает отдельные процессы для соединений. и оба используют ipc для межпроцессного взаимодействия.
    И честного говоря, ещё не известно, что лучше. Зависит от задач.
     
     
  • 4.14, iZEN (ok), 09:32, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Бред. Apache 2 использует потоки, а Apache 1.3 - нет.
    >Вместо этого он запускает отдельные процессы для соединений. и оба используют ipc
    >для межпроцессного взаимодействия.

    Ну я это и имел в виду, когда говорил, что Apache 1.3 не поддерживает SMP. Согласитесь, что потоки от процессов отличаются очень даже. Хотя для *nix стоимость создания нового процесса не так велика, как в Windows, например.

    >И честного говоря, ещё не известно, что лучше. Зависит от задач.

    Потоки используют общее адресное пространство (но разные стеки). Процессы имеют каждый собственное адресное пространство и изолированы друг от друга, используют IPC для обмена данными.


     
     
  • 5.16, Zz (?), 09:45, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >>Бред. Apache 2 использует потоки, а Apache 1.3 - нет.
    >>Вместо этого он запускает отдельные процессы для соединений. и оба используют ipc
    >>для межпроцессного взаимодействия.
    >
    >Ну я это и имел в виду, когда говорил, что Apache 1.3
    >не поддерживает SMP. Согласитесь, что потоки от процессов отличаются очень даже.
    >Хотя для *nix стоимость создания нового процесса не так велика, как
    >в Windows, например.

    Вы, наверное, не в курсе, что для обработки нового запроса _не_ создается новый процесс, так что стоимость создания нового процесса не играет существенной роли, поскольку создание новых процессов происходит сравнительно нечасто. Так что, хотя и согласимся, что потоки от процессов отличаются,  но нисколько не согласимся что апача 1.3 не поддерживает SMP.

    >
    >>И честного говоря, ещё не известно, что лучше. Зависит от задач.
    >
    >Потоки используют общее адресное пространство (но разные стеки). Процессы имеют каждый собственное
    >адресное пространство и изолированы друг от друга, используют IPC для обмена
    >данными.

     
     
  • 6.18, iZEN (ok), 10:37, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Вы, наверное, не в курсе, что для обработки нового запроса _не_ создается
    >новый процесс, так что стоимость создания нового процесса не играет существенной
    >роли, поскольку создание новых процессов происходит сравнительно нечасто.

    Всегда думал, что Apache 1.3 на каждый запрос, особенно если это касается mod_php и mod_perl, создаёт новый процесс выполнения или берёт свободный из пула уже запущенных процессов для выполнения запрашиваемой задачи.

    >Так что, хотя
    >и согласимся, что потоки от процессов отличаются,  но нисколько не
    >согласимся что апача 1.3 не поддерживает SMP.

    Ну да, заместо распределения потоков по ядрам, Apache 1.3 тупо исполняет всё в одном процессе/потоке на одном ядре -- об SMP он не в курсах -- заместо него думает шедулер операционной системы, как правильно раскидать его порождённые процессы/потоки по ядрам.

     
     
  • 7.20, Аноним (-), 13:11, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Всегда думал, что Apache 1.3 на каждый запрос, особенно если это касается
    >mod_php и mod_perl, создаёт новый процесс выполнения или берёт свободный из
    >пула уже запущенных процессов для выполнения запрашиваемой задачи.

    Ага. И как раз бОльшая часть попадает во второй случай.

    >Ну да, заместо распределения потоков по ядрам, Apache 1.3 тупо исполняет всё
    >в одном процессе/потоке на одном ядре -- об SMP он не
    >в курсах -- заместо него думает шедулер операционной системы, как правильно
    >раскидать его порождённые процессы/потоки по ядрам.

    Т.е. апач2 сам распределяет потоки по ядрам заменяя собой шедулер ? До чего техника дошла.

     
     
  • 8.21, iZEN (ok), 13:45, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Нет Его дело порождать потоки и управлять пулом потоков А распределением ресур... текст свёрнут, показать
     
     
  • 9.22, Хелагар (ok), 14:20, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Итого и в том и в другом случае ресурсами управляет ядро ОС Т е разница только... текст свёрнут, показать
     
  • 9.23, frewq (?), 16:38, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    А давно ULE3 появился В 7-STABLE 8-CURRENT насколько помню ULE2 ... текст свёрнут, показать
     
     
  • 10.24, iZEN (ok), 17:10, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Оригинальная работа ULE основывается на планировщике O 1 Инго Молнара Он был э... текст свёрнут, показать
     
  • 8.26, User294 (??), 21:57, 12/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Ага Здорово получается когда на такой сервак вы ведь про префорк заходят тулз... текст свёрнут, показать
     
     
  • 9.28, iZEN (ok), 01:41, 13/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Такую ситуацию должен отслеживать нормальный файервол пакетный фильтр и банить н... текст свёрнут, показать
     
     
  • 10.30, User294 (??), 02:35, 13/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Ну, ладно, меня одного с http_load забанить можно и то, только если я не буду за... большой текст свёрнут, показать
     
  • 5.31, old (?), 13:57, 13/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >>Бред. Apache 2 использует потоки, а Apache 1.3 - нет.
    >>Вместо этого он запускает отдельные процессы для соединений. и оба используют ipc
    >>для межпроцессного взаимодействия.
    >Ну я это и имел в виду, когда говорил, что Apache 1.3 не поддерживает SMP.

    и в каком именно месте?
    1. как бы процессы более подходят для SMP, чем потоки (например, перекидывать потоки с их общим адресным пространством между разными CPU более накладно)
    2. IPC - вполне себе оптимизирован для подобных задач. да и пишется он уж точно не прикладными программистами.
    к тому же обе эти версии апача всё-равно вынуждены поддерживать ipc.
    а чуть меньшее время создания процесса компенсируется созданием пулов процессов, что требует минимального планирования и не более.

     
     
  • 6.32, old (?), 13:58, 13/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    сори
    s/а чуть меньшее время создания процесса/а чуть меньшее время создания потока/
     
  • 5.35, Аноним (-), 15:54, 15/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Адресное пространство самой программы и её копий (сегменты text) в linux и BSD будет общее, да и часть сегментов DATA тоже, если только программа не будет в них производить запись.
     

  • 1.33, Zenitur (?), 14:33, 13/05/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Если Майкрософт станет делать свободное и открытое ПО, это будет... неправильно!
     
     
  • 2.34, аноним (?), 14:36, 13/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Если Майкрософт станет делать свободное и открытое ПО, это будет... неправильно!

    ох, и не говорите

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру