Анализатор логов Apache
ayax - 13 Июль, 2010 - 21:03
Подскажите хороший анализатор логов Apache.
Требований немного -
- Запуск локально (т.е. без установки сервера);
- Анализ из файла (т.е. без подключения к удалённому серверу);
- Сохранение отчётов в любом виде.
Собственно, полностью устраивают on-line инструменты, но иногда возникает необходимость что-то проверить из скаченного лога.
Как обычно - посчитать хиты, посмотреть ошибки, выделить ip.
про cat ... | grep (awk) ... можно поподробнее? Даже не слышал...
поподробнее - так поподробнее...
В запущеной консоли сначала набираешь:
man catи очень внимательно читаешь.Когда начитаешься и все осмыслишь, там же, в консоли, пишешь:
man grepи снова очень внимательно читаешь.Прочитанной информации тебе должно быть достаточно, чтобы разобраться.
Спасибо, совсем не то
Logstalgia, держи, балдей =) Не знаю как с информативностью, но зрелищно.
Красиво, конечно, но тоже не то.
Нужен грубо говоря гугл аналитикс, только локальный)
Скажи по-русски, что именно ты от него хочешь? Тебе какая именно инфа нужна?
По-русски:
анализируя траффик на сайты по системам Liveinternet, SpyLog, GoogleAnalitics, YandexMetrika пришёл к выводу, что все они теряют часть траффика - до 40%. По понятным причинам.
Поэтому и необходим инструмент для анализа самих логов.
В первую очередь, я хочу знать, кто и откуда пришёл. Во-вторую - сколько человек пришло за сутки. В третью - по какому запросу. И в четвёртую - мне нужны все ошибки доступа.
А так как сайт размещён на стороннем хостинге, мне нужен анализатор, который сформирует отчёт на основе сохранённого файла.
Logstalgia - вещь, но вещь для гика с админским уклоном. А я будем считать сео-гик.
Тогда самое время освоить bash, grep, awk. С помощью этих инстументов состряпать скриптик который будет в меру простой и гибкий не составит определённого труда. А вообще: awstats, webalizer, ALWA и ещё вагон и маленькая тележка. Гугль их знает. Будет вопрос по какому-то конкретному - милости просим.
Алва - шаравары.
Вебалайзер меня ещё из виндов раздражает (сейчас не ставил).
Авастат - CGI, требует установки сервера.
Я понимаю, может показаться что я мудак ё4ый на голову, и даже может быть так и есть. Но я очень хочу именно простое приложение, которое берёт лог-файл и преобразует его в удобоваримый вид. И ВСЁ.
именно для этого и сушествуют всего 2 команды: cat и grep. И ВСЁ! Все остальное - ненужные свистоперделки!
Я не говорю что использование grep хуже других "свистоперделок". Но, знаете ли, Mike, можно и мелом на доске рисовать, а можно уже всё-таки шагнуть в 21-й век.
Дооо, 21 век - век потребительства товаров, но не собственной головы: найти сумбур из cat и grep частично удовлетворяющее потребности и пользовать пользовать пользовать; а можно задуматься и за часок наваять то, что нужно. Ну по мне так в этом случае лучше задержаться в веке 20.
Об чём спор-то?
Ради бога, пользуйте grep.
Мне нужно что-то большее - это не преступление, надеюсь?
А если этого чего-то не найти - я напишу свой инструмент - и в этом тоже не вижу ничего плохого))
дООО! Построй свой парсер с катом и грепом! В прочем, к черту греп!
да-да, к чёрту, я это в самом начале сказал.
Парни, в целом = лол, но можно от меня, конкретную задачу ?
Короче:
cat access.log| ????? удалить все строки, в которых содержится
конкретный IP (например собственный)указанное регулярное выражение.Такую, более земную задачу, кто-нибудь может решить ?
P.S. и сам когда-то знал, но забыл :-) + плюс что-то голова не варит, проанализировать маны.
По моему так как-то, у меня лога нету не на чем проверить
sed -e '127.0.0.1/d' ./access.log > ./access.log.beshani
А можно и так:
cat ./access.log | grep -v 127.0.0.1 > ./access.log.beshani
Авось что-то да сработает :)))
С седом надо бы разобраться, по слухам, оно быстрее будет работать если файл очень большой, а access.log может быть ужасно большим.
Логика примерна такая. Копируем файл на локалхост.
Далее по порядку.
1) отрезаем мои посещения.
2) отрезаем посещения с гуглаботов (если не нужны)
3) отрезаем посещения с тех мест, где например используются изображения с твоего сайта (например у меня некоторые тут выложены, а хостятся у меня).
4) вставляем в отдельный файл (или перезаписываем исходный, когда всё правильно работает).
5) вызывается другой скрипт или остальная часть скрипта, где например предлагает выбрать цифру того, что надо делать, к примеру:
* вывести все ошибки с кодом 404, 403 и т.п.
* показать все строки с текущей $date
* показать строки с запросом /admin
* показать количество уникальных посещений (с разных IP к примеру)
и т.д. и т.п., и чем хорошо самому немного вникать, так это то, что лучше разберёшься в логе апача.
Ну и вот первые три пункта может выполнить одна команда sed, а grep придётся несколько раз перечитывать весь лог с отсеиванием.
5 пункт можно реализовть на баше даже с графической оболочкой если кде, я "гномово" не знаю, но на кде можно, ну или в консоли так же выбор с меню, но не по цифре выбор, а в псевдографическим меню, думаю так удобнее будет...
Это я в смысле... удачки, не всё же радовать... :)
ncurses наше всё )
Люди, так посоветуйте простой код для Bash-a, чтобы в зависимости от выбора пользователя, выполнялся какой-то конкретный участок скрипта.
а в чем проблема под каждого пользователя просто завести свой вариант скрипта?
Один трамвай зелёный, другой налево...
Хотя на самом деле, я выразился не однозначно... Сочетание "в зависимости от выбора пользователя" всё запутало.
Я имел ввиду: имею один код, однажды написанный; _я_ запускаю его и там появляется:
1. cat /var/log/access.log | grep -v ХХ.UUU.HHH.CC |grep -v Yandexbot2. tail /var/log/auth.log
3. rf \ * -f
4. exit
Я пишу цифру или выбираю псеводоменю и запускается нужный кусок кода из огромного скрипта.
После выполнения этого куска до конца и выхода, я возвращаюсь в это меню снова. Если жму 4 (exit) то меня выпускает обратно в консоль.
Т.е. я имею один скрипт который я запускаю для выполнения различных задач, а внутри у него, множество разных кусков которые выполняют свою процедуру
В баше есть функции, вот такой примерище:
#!/bin/bash
function ech()
{
echo "111";
}
ech # а это запуск функции
# передавать параметры в функцию тоже можно, только я уж и не помню как
Ну это понятно.
КАК выбор обеспечить ? Вот в чём вопрос.
Катя, вот за это я тебя и люблю! И еще за много чего! xD
Не, не думаю, что уж прямо так :-)
Примерно так: ищу девушку, желательно чтобы умела готовить скрипты, не ленилась убирать логи, компилящая.
Наешь, мне очень-очень нравится боди-арт аж со второго курса, но если бы он мне нравился до такой степени я бы тебе по башу не смогла помочь :D И у меня нос не такой горбатый между прочим!
пруф носа в студию! =)
Раз она сказала только про нос, то
пингвинытипаж примерно такой же.Я тут так подумал... займусь-ка я скриптописанием. Правда, быстро ничего не обещаю, а в течении недельки-другой.
Я тут запустил Катенькин скрипт, очень всё кошерно выглядит, сразу громадьё идей.
Воспользовавшись её скриптом, случайно обнаружил страницу, которая хорошо ищется из поиска, но абсолютно пуста...
Это как-то не удобно перед читателями, потому её быстренько дописал в первую очередь.
посмотрите wStat.
Отправить комментарий