Версия для печати темы
Нажмите сюда для просмотра этой темы в обычном формате
MyDC.ru _ Ваши проекты _ Статистика по крупнейшим хабам в .ru
Автор: pro 10.12.2010, 0:38
Однажды мне надоело смотреть в spy-лог и выковыривать вкусные новинки.
и получилась такая штука:
дошли руки наконец ее причесать и починить.
сейчас ходит по примерно 5 крупнейшим .ru хабам.
умеет показывать статистику за час, день, неделю.
Вопрос:
чего еще посчитать?
в ближайших планах наладить rss по top10
кто хочет и сумеет - может прикрутить к своему хабу 8) (брать из svn)
Автор: Setuper 10.12.2010, 9:47
Дизайн очень "серый"
Автор: pro 10.12.2010, 13:38
про дизайн есть мысли, его сразу после всего функционала и оптимизаций 8)
Автор: mariner 10.12.2010, 14:41
да, согласен. Ваш проект скоростью, увы, не блещет. А что используется? Может стоит оптимизировать базу или использовать более быстрый сервер баз данных. Я вот с MySQL переехал на MariaDB. Не жалею. PS а сегодня днем нормально вроде шевелиться)
Автор: pro 10.12.2010, 15:57
mariadb - этот тот же мускуль.
а база maria - это тот же myisam
возможно он быстрее на пару процентов, врядли больше.
тормозит от того что в сутки в табличку приезжает около 3х миллионов запросов.
сделать селект статистики прямо в момент отдачи страницы - невозможно (дневная сейчас считается почти час)
поэтому сейчас самые долгие подсчеты запускаются из крона и результат кладется в соседние быстрые таблички.
но некоторые запросы выполняются быстро (напрмиер сейчас ищут-качают), за исключением попадения на время подсчета долгой статистики - они лочатся и ждут выполнения долгого запроса.
точно помогло бы innodb или поцгрес, но пока некогда.
Автор: mariner 10.12.2010, 16:36
ну ты бы попробовал. У нас на стате прирост составил от 30 до 50 процентов. Правда мы переползли с Innodb на Xtradb
- ololo?
И еще по теме ссылка -
PS надо ж гуглить не maria vs myisam, а aria vs myisam
Автор: pro 10.12.2010, 17:22
Тут сильно поможет первичный подсчет каждый час, а за сутки-неделю- суммами часовых.
и низкочастотные хвосты выкидывать.
но сначала надо придумать до конца что считать нужно, а что нет.
сначала надо алгоритмы ускорить раз в 100-1000, а потом уже мелочи путем подбора правильного хранилища 8)
Автор: mariner 10.12.2010, 17:26
Как бэ попахивает сказками ;) Совмещать оптимизацию одновременно на уровне сервера и на уровне рефакторинга кода - никто не запрещал же вроде ;)
Автор: pro 10.12.2010, 20:25
отконвертировать и проверить 1Тb+ баз на этом сервере чуть сложнее и дольше чем соптимизировать алгоритмы для данной задачи.
Автор: mariner 10.12.2010, 21:25
что? Оно у вас не чистится? Просто у вас там 7 дней выборка, я так понимаю оно чистится раз в 7 дней?
Автор: pro 13.12.2010, 15:46
да нет, просто на этом сервере живет много других больших штук.
Автор: pro 24.5.2011, 15:37
прикрутил rss к каждой табличке.
например -
- самые скачиваемые файлы.
Автор: HackFresse 24.5.2011, 18:09
например -
- самые скачиваемые файлы.
имя файла "самое популярное", или первое попавшееся под таким tth?
Автор: pro 25.5.2011, 0:20
в теории - самое популярное, в практике - там баг (и не один), поправлю.
и вот допилил:
кажется самое полезное 8)
Автор: pro 26.5.2011, 0:14
виджет на яндыкс: