форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Twitter открыл код системы выявления аномалий"	+/–
Сообщение от opennews (ok) on 06-Янв-15, 23:42
Twitter опубликовал (https://blog.twitter.com/2015/introducing-practical-and-robu...) новый открытый проект AnomalyDetection (https://github.com/twitter/AnomalyDetection), представляющий собой пакет на языке R для автоматического выявления аномалий в статистических наборах данных. Поддерживается определение различных типов аномалий: локальные и глобальные отклонения, положительные (например, всплески трафика) и отрицательные (например, снижение числа запросов) изменения. Код опубликован под лицензией GPLv3. <center><a href="https://g.twimg.com/blog/blog/image/figure_localglobal_anoma... src="https://www.opennet.ru/opennews/pics_base/0_1420571938.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center> <center><a href="https://g.twimg.com/blog/blog/image/figure_raw_residual_glob... src="https://www.opennet.ru/opennews/pics_base/0_1420571892.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center> Например, пакет позволяет выявить отклонения от нормы в потоке информации, поступающей от системы мониторинга или от различных сенсоров, в том числе можно фиксировать активность, связанную с деятельностью ботов и спамеров, или оценивать изменения параметров работы после перехода на новую версию ПО.  Кроме того, пакет можно использовать для отслеживания заслуживающих внимания изменений метрик в различных областях, связанных с изучением событий в экономике и политике, например, определять события, вызывающие особый резонанс в обсуждениях и прессе. <center><a href="https://raw.githubusercontent.com/twitter/AnomalyDetection/m... src="https://www.opennet.ru/opennews/pics_base/0_1420571824.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center> <center><a href="https://raw.githubusercontent.com/twitter/AnomalyDetection/m... src="https://www.opennet.ru/opennews/pics_base/0_1420571861.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center> URL: https://blog.twitter.com/2015/introducing-practical-and-robu... Новость: https://www.opennet.ru/opennews/art.shtml?num=41405
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

2. "Twitter открыл код системы выявления аномалий"	+1 +/–
Сообщение от pavlinux (ok) on 07-Янв-15, 00:25
Ипать, Твытыр научит нас считать первые и вторые производные! Да ещё и код открыли, щедрость просто не измерима!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	3. "Twitter открыл код системы выявления аномалий"	+1 +/–
	Сообщение от Васисуалий on 07-Янв-15, 00:30
	Градиенты . Скоро под GPLv3 !
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	4. "Twitter открыл код системы выявления аномалий"	+6 +/–
	Сообщение от irinat (ok) on 07-Янв-15, 00:48
	Ну давай, посчитай производные от шума.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	5. "Twitter открыл код системы выявления аномалий"	–3 +/–
	Сообщение от vi (ok) on 07-Янв-15, 01:09
	> Ну давай, посчитай производные от шума. Какие у шума бывают аномалии?
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	8. "Twitter открыл код системы выявления аномалий"	+5 +/–
	Сообщение от Аноним (??) on 07-Янв-15, 07:55
	Скачки характеристик спектральной плотности?
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	9. "Twitter открыл код системы выявления аномалий"	+1 +/–
	Сообщение от vi (ok) on 07-Янв-15, 09:06
	> Скачки характеристик спектральной плотности? Вот, мы и посчитаем первую и вторую производную от этих скачков.
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

	12. "Twitter открыл код системы выявления аномалий"	+/–
	Сообщение от Аноним (??) on 07-Янв-15, 11:55
	Слабо посчитать производную от неизвестной функции, азданой набором значений? (не.. конечно можно функцию "условно получить", если знать магию матана, но это гораздо более сложная задача, чем посчитать производную.
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

	15. "Twitter открыл код системы выявления аномалий"	+/–
	Сообщение от EHLO on 07-Янв-15, 12:17
	> Слабо посчитать производную от неизвестной функции, азданой набором значений? (не.. конечно > можно функцию "условно получить", если знать магию матана, но это гораздо > более сложная задача, чем посчитать производную. (y2 - y1)/(x2 - x1) Йа бохЪ матана.
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	16. "Twitter открыл код системы выявления аномалий"	+2 +/–
	Сообщение от YetAnotherOnanym (ok) on 07-Янв-15, 12:44
	> (y2 - y1)/(x2 - x1) > Йа бохЪ матана. А теперь, боженька, начни приближать x2 к x1. Что, результат скачет непредсказуемо при каждой итерации? Да, бывает. МарьВанна тебя предупреждала.
	Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

	17. "Twitter открыл код системы выявления аномалий"	+/–
	Сообщение от EHLO on 07-Янв-15, 12:59
	>> (y2 - y1)/(x2 - x1) >> Йа бохЪ матана. > А теперь, боженька, начни приближать x2 к x1. Что, результат скачет непредсказуемо > при каждой итерации? Да, бывает. МарьВанна тебя предупреждала. Там где скачет, там и будет ономалия. Йа КОъ. МарьВанна, тебя же на пенсию проводили. Вяжи носки правнукам.
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	18. "Twitter открыл код системы выявления аномалий"	+1 +/–
	Сообщение от YetAnotherOnanym (ok) on 07-Янв-15, 13:11
	> Там где скачет, там и будет ономалия. Йа КОъ. 1. Не всегда. 2. Не только.
	Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

	20. "Twitter открыл код системы выявления аномалий"	+/–
	Сообщение от EHLO on 07-Янв-15, 13:21
	>> Там где скачет, там и будет ономалия. Йа КОъ. > 1. Не всегда. > 2. Не только. Я принцип гражданину анониму показал. Дальше man 7 matan.
	Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

	22. "Twitter открыл код системы выявления аномалий"	+1 +/–
	Сообщение от irinat (ok) on 07-Янв-15, 17:51
	>> Ну давай, посчитай производные от шума. > Какие у шума бывают аномалии? Производные хорошо работают только на гладких функциях, а реальные данные почти всегда обильно смазаны шумом. Из-за этого без предварительной регуляризации нет смысла считать производные — после первой же шум забьёт полезный сигнал начисто.
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	27. "Twitter открыл код системы выявления аномалий"	–1 +/–
	Сообщение от pavlinux (ok) on 08-Янв-15, 02:33
	> Производные хорошо работают только на гладких функциях Преобразование Фурье, не, не слышал? (но опять же нах..я, когда полиномами 4-степени быстрее, ну или ваще куб. спалйн)
	Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

	7. "Twitter открыл код системы выявления аномалий"	+/–
	Сообщение от Аноним (??) on 07-Янв-15, 04:08
	А что не так?
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	13. "Twitter открыл код системы выявления аномалий"	+2 +/–
	Сообщение от YetAnotherOnanym (ok) on 07-Янв-15, 12:00
	Товарищ не понимает разницы между "понимать принцип в общих чертах" и "написать рабочий код, применимый для решения практических задач".
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	24. "Twitter открыл код системы выявления аномалий"	+/–
	Сообщение от all_glory_to_the_hypnotoad (ok) on 07-Янв-15, 20:16
	да он даже принцип не понимает.
	Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

	10. "Twitter открыл код системы выявления аномалий"	+1 +/–
	Сообщение от llolik (ok) on 07-Янв-15, 10:04
	Вроде как, напрашивается вопрос: а от чего производные считать будем? Есть какая-то дифференцируемая функция? Задача "немного" сложней, чем с первого раза кажется.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	11. "Twitter открыл код системы выявления аномалий"	+3 +/–
	Сообщение от Владимир (??) on 07-Янв-15, 10:27
	Ну, там не вторые производные. https://github.com/twitter/AnomalyDetection/blob/master/R/de... основанный на http://www.itl.nist.gov/div898/handbook/eda/section3/eda35h3... Грубо говоря, это просто расчет стандартного отклонения по усовершенствованному алгоритму и определения выхода за него. Построение и вывода аналитически функции по шуму здесь нет, как и дифференцирования её.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	19. "Twitter открыл код системы выявления аномалий"	–1 +/–
	Сообщение от EHLO on 07-Янв-15, 13:18
	> Ну, там не вторые производные. > https://github.com/twitter/AnomalyDetection/blob/master/R/de... > основанный на > http://www.itl.nist.gov/div898/handbook/eda/section3/eda35h3... > Грубо говоря, это просто расчет стандартного отклонения по усовершенствованному алгоритму > и определения выхода за него. > Построение и вывода аналитически функции по шуму здесь нет, как и дифференцирования > её. То есть это ещё элементарнее.
	Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

	14. "Twitter открыл код системы выявления аномалий"	+/–
	Сообщение от Аноним (??) on 07-Янв-15, 12:15
	может быть этот код позволяет различать локальные/глобальные экстремумы?
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	23. "Twitter открыл код системы выявления аномалий"	+/–
	Сообщение от all_glory_to_the_hypnotoad (ok) on 07-Янв-15, 20:14
	> Ипать, Твытыр научит нас считать первые и вторые производные! думаешь, с твоим уровнем образования и понимания темы эти уроки будут полезными?
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

21. "Twitter открыл код библиотеки для выявления аномалий в набор..."	+/–
Сообщение от Программист on 07-Янв-15, 13:24
Критерии Граббса, Диксона, Титьена-Мура и т.д., что-ли, освоили? Аномалии, блин. А шуму-то подняли.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

25. "Twitter открыл код библиотеки для выявления аномалий в набор..."	+/–
Сообщение от онаним on 07-Янв-15, 20:35
Это конец. :D
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема