myDC.ru

Здравствуйте, гость ( Вход | Регистрация )

 
 
Ответить в данную темуНачать новую тему

> Статистика по крупнейшим хабам в .ru

Теги
Нет тегов для показа
pro
сообщение 10.12.2010, 0:38
Сообщение #1


Участник
**

Группа: Пользователи
Сообщений: 41
Регистрация: 8.1.2009
Пользователь №: 1 729
Спасибо сказали: 18 раз




Однажды мне надоело смотреть в spy-лог и выковыривать вкусные новинки.
и получилась такая штука:
http://dcstat.proisk.ru/

дошли руки наконец ее причесать и починить.
сейчас ходит по примерно 5 крупнейшим .ru хабам.
умеет показывать статистику за час, день, неделю.

Вопрос:
чего еще посчитать?

в ближайших планах наладить rss по top10

кто хочет и сумеет - может прикрутить к своему хабу 8) (брать из svn)
Go to the top of the page
+Quote Post
Setuper
сообщение 10.12.2010, 9:47
Сообщение #2


RusHub team lead
**************

Группа: Модераторы
Сообщений: 4 030
Регистрация: 20.6.2008
Из: г. Королёв (Моск. обл.)
Пользователь №: 46
Спасибо сказали: 1703 раза




Дизайн очень "серый"
Go to the top of the page
+Quote Post
pro
сообщение 10.12.2010, 13:38
Сообщение #3


Участник
**

Группа: Пользователи
Сообщений: 41
Регистрация: 8.1.2009
Пользователь №: 1 729
Спасибо сказали: 18 раз




про дизайн есть мысли, его сразу после всего функционала и оптимизаций 8)
Go to the top of the page
+Quote Post
mariner
сообщение 10.12.2010, 14:41
Сообщение #4


Местная ТехПоддержка
**********

Группа: Администраторы
Сообщений: 1 874
Регистрация: 18.7.2008
Из: Моск. Обл, г. королев, район Болшево
Пользователь №: 221
Спасибо сказали: 219 раз




да, согласен. Ваш проект скоростью, увы, не блещет. А что используется? Может стоит оптимизировать базу или использовать более быстрый сервер баз данных. Я вот с MySQL переехал на MariaDB. Не жалею. PS а сегодня днем нормально вроде шевелиться)
Go to the top of the page
+Quote Post
pro
сообщение 10.12.2010, 15:57
Сообщение #5


Участник
**

Группа: Пользователи
Сообщений: 41
Регистрация: 8.1.2009
Пользователь №: 1 729
Спасибо сказали: 18 раз




mariadb - этот тот же мускуль.
а база maria - это тот же myisam
возможно он быстрее на пару процентов, врядли больше.

тормозит от того что в сутки в табличку приезжает около 3х миллионов запросов.
сделать селект статистики прямо в момент отдачи страницы - невозможно (дневная сейчас считается почти час)
поэтому сейчас самые долгие подсчеты запускаются из крона и результат кладется в соседние быстрые таблички.
но некоторые запросы выполняются быстро (напрмиер сейчас ищут-качают), за исключением попадения на время подсчета долгой статистики - они лочатся и ждут выполнения долгого запроса.

точно помогло бы innodb или поцгрес, но пока некогда.
Go to the top of the page
+Quote Post
mariner
сообщение 10.12.2010, 16:36
Сообщение #6


Местная ТехПоддержка
**********

Группа: Администраторы
Сообщений: 1 874
Регистрация: 18.7.2008
Из: Моск. Обл, г. королев, район Болшево
Пользователь №: 221
Спасибо сказали: 219 раз




ну ты бы попробовал. У нас на стате прирост составил от 30 до 50 процентов. Правда мы переползли с Innodb на Xtradb

Цитата
innodb

http://www.mysqlperformanceblog.com/2010/0...n-fast-storage/ - ololo?

И еще по теме ссылка - http://www.opennet.ru/opennews/art.shtml?num=28147

PS надо ж гуглить не maria vs myisam, а aria vs myisam
Go to the top of the page
+Quote Post
pro
сообщение 10.12.2010, 17:22
Сообщение #7


Участник
**

Группа: Пользователи
Сообщений: 41
Регистрация: 8.1.2009
Пользователь №: 1 729
Спасибо сказали: 18 раз




Тут сильно поможет первичный подсчет каждый час, а за сутки-неделю- суммами часовых.
и низкочастотные хвосты выкидывать.
но сначала надо придумать до конца что считать нужно, а что нет.

сначала надо алгоритмы ускорить раз в 100-1000, а потом уже мелочи путем подбора правильного хранилища 8)
Go to the top of the page
+Quote Post
mariner
сообщение 10.12.2010, 17:26
Сообщение #8


Местная ТехПоддержка
**********

Группа: Администраторы
Сообщений: 1 874
Регистрация: 18.7.2008
Из: Моск. Обл, г. королев, район Болшево
Пользователь №: 221
Спасибо сказали: 219 раз




Цитата
сначала надо алгоритмы ускорить раз в 100-1000

Как бэ попахивает сказками ;) Совмещать оптимизацию одновременно на уровне сервера и на уровне рефакторинга кода - никто не запрещал же вроде ;)
Go to the top of the page
+Quote Post
pro
сообщение 10.12.2010, 20:25
Сообщение #9


Участник
**

Группа: Пользователи
Сообщений: 41
Регистрация: 8.1.2009
Пользователь №: 1 729
Спасибо сказали: 18 раз




отконвертировать и проверить 1Тb+ баз на этом сервере чуть сложнее и дольше чем соптимизировать алгоритмы для данной задачи.
Go to the top of the page
+Quote Post
mariner
сообщение 10.12.2010, 21:25
Сообщение #10


Местная ТехПоддержка
**********

Группа: Администраторы
Сообщений: 1 874
Регистрация: 18.7.2008
Из: Моск. Обл, г. королев, район Болшево
Пользователь №: 221
Спасибо сказали: 219 раз




Цитата
1Тb+ баз на этом сервере

что? Оно у вас не чистится? Просто у вас там 7 дней выборка, я так понимаю оно чистится раз в 7 дней?
Go to the top of the page
+Quote Post
pro
сообщение 13.12.2010, 15:46
Сообщение #11


Участник
**

Группа: Пользователи
Сообщений: 41
Регистрация: 8.1.2009
Пользователь №: 1 729
Спасибо сказали: 18 раз




да нет, просто на этом сервере живет много других больших штук.
Go to the top of the page
+Quote Post
pro
сообщение 24.5.2011, 15:37
Сообщение #12


Участник
**

Группа: Пользователи
Сообщений: 41
Регистрация: 8.1.2009
Пользователь №: 1 729
Спасибо сказали: 18 раз




прикрутил rss к каждой табличке.
например -
http://dcstat.proisk.ru/?query=queries+top+tth&view=rss
- самые скачиваемые файлы.
Go to the top of the page
+Quote Post
HackFresse
сообщение 24.5.2011, 18:09
Сообщение #13


Продвинутый участник
****

Группа: Пользователи
Сообщений: 155
Регистрация: 11.1.2009
Пользователь №: 1 772
Спасибо сказали: 27 раз




Цитата(pro @ 24.5.2011, 15:37) *
прикрутил rss к каждой табличке.
например -
http://dcstat.proisk.ru/?query=queries+top+tth&view=rss
- самые скачиваемые файлы.

имя файла "самое популярное", или первое попавшееся под таким tth?
Go to the top of the page
+Quote Post
pro
сообщение 25.5.2011, 0:20
Сообщение #14


Участник
**

Группа: Пользователи
Сообщений: 41
Регистрация: 8.1.2009
Пользователь №: 1 729
Спасибо сказали: 18 раз




в теории - самое популярное, в практике - там баг (и не один), поправлю.

и вот допилил:
http://dcstat.proisk.ru/?query=queries+top+tth&sort=time
кажется самое полезное 8)
Go to the top of the page
+Quote Post
pro
сообщение 26.5.2011, 0:14
Сообщение #15


Участник
**

Группа: Пользователи
Сообщений: 41
Регистрация: 8.1.2009
Пользователь №: 1 729
Спасибо сказали: 18 раз




виджет на яндыкс:
http://www.yandex.ru/?add=60786&from=shared
Go to the top of the page
+Quote Post

Ответить в данную темуНачать новую тему
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

Collapse

> Похожие темы

  Тема Ответов Автор Просмотров Последнее сообщение
No New Posts Topic has attachmentsСтатистика
версия 2.0
9 Accelerator 5 961 21.3.2017, 18:32 Посл. сообщение: Alexey
No New Posts Статистика файлобмена
Нужен скрипт
2 WorldWide 2 800 11.12.2010, 15:39 Посл. сообщение: Setuper
No New Posts От: Статистика файлобмена
От темы с ID: 4136
0 Saymon21 1 657 11.12.2010, 15:35 Посл. сообщение: Saymon21
No New Posts Статистика пиров по TTH
Незнаю с чего начинать :-)
8 Dset 5 837 26.10.2010, 10:47 Посл. сообщение: Atlant
Closed Статистика
3 grifons 2 704 12.9.2010, 14:12 Посл. сообщение: serrrios
No New Posts Веб статистика банов
2 soad 3 131 29.6.2010, 18:31 Посл. сообщение: soad
No New Posts Статистика с удаленого хаба.
Скрипт.
8 Blot 5 181 23.12.2009, 20:42 Посл. сообщение: X-Sky
No New Posts Статистика
дайте кто нить скрипты
3 Error404 3 623 13.12.2009, 17:45 Посл. сообщение: Error404
No New Posts Topic has attachmentsСтатистика для верли
Статистика для верли
0 Wildcdu 3 759 22.11.2009, 22:19 Посл. сообщение: Wildcdu
No New Posts WEB статистика трансляция на другой сервер
1 apelsin 3 264 25.8.2009, 13:21 Посл. сообщение: PomanoB
No New Posts Topic has attachmentsСтатистика приходящих людей
Пишет в текстовый документ статистику приходящих юзеров
7 JlёJluK 5 414 29.7.2009, 23:11 Посл. сообщение: Артём
Closed статистика скаченно отданно
1 Grunya_404 2 947 27.5.2009, 8:46 Посл. сообщение: Wariner
No new Topic has attachmentsСтатистика Ip (last Ip 1.1 - Русская Версия)
API2 | Скрипт для просмотра кто заходил с IP и с каких IP заходили...
21 dimetrius 17 925 8.2.2009, 1:16 Посл. сообщение: Владимир
No New Posts От: Статистика Ip (last Ip 1.1 - Русская Версия)
От темы с ID: 208
0 FallenAngel 2 605 1.2.2009, 11:25 Посл. сообщение: FallenAngel
No New Posts Topic has attachmentsНе Сохраняется Статистика
3 eL50ff 4 210 15.12.2008, 12:18 Посл. сообщение: eL50ff

 



RSS Сейчас: 18.1.2018, 20:27