منتدى استراحات زايد - دمج ملفات اللوج الخاصة ل Apache + Nginx + Lighttpd

السلام عليكم ورحمة الله وبركاته

كما قلت فى موضوع سابق انى سوف اقوم باضافة بعض المواضيع الخاصة بشروحات تتضمن ال Nginx

هذا شرح لدمج ملفات اللوج الخاصة لكل من ( nginx + apache + lighttpd ) وعرضها بشكل رسومى من خلال المتصفح ايضا :)

الفكرة محتاجة تركيز شوية لاننا بنركب حاجات عشان اللى هانعمله يشتغل :crazy:

هى ليست فكرة اساسية ولكنها موفرة للوقت طبعا بالاضافة للتعلم الى شخص لم يخوض كثيرا فى مثل هذه الامور ...

بداية يتم تركيب awstats .. وهو عبارة عن بيرل سكربت

فائدته :
- يقوم بقراءة ملفات .tar.gz
-يقوم بوظيفة الدمج لملفات اى نظام اخر
-يقرأ اى عدد من ملفات اللوج
- الاهم (فى نظرى) : يقوم بعمل عثور سريع لل DNS وابدال كل الايبيهات الى هوست نيم فى ملفات اللوج

لعمل ذلك يتم عمل التالى اولا وهو تركيب EPEL

رمز PHP:

rpm -Uvh http://download.fedora.redhat.com/pub/epel/5/x86_64/epel-release-5-5.noarch.rpm

لسرد الريبو الجديد :
رمز PHP:

yum repolist

سنجد
اقتباس:
epel Extra Packages for Enterprise Linux
بعد التسطيب نركب awstats
رمز PHP:

yum -y install awstats

وجلب المعلومات من السيرفرات والنود هانكريت مسار لتخزين اللوج فيه على cashingnode ... كالتالى :

رمز PHP:

D=/var/logs/clusterlogs
mkdir -p $D
mkdir -p $D/raw
mkdir -p $D/raw/apache{1,2,3}
mkdir -p $D/reports

هانحتاج هنا تركيب شىء اخر اسمه rsync ودا عشان نقدر نجمع ملفات اللوج من ال 3 سيرفرات ..

نشرح ال rsync .. طبعا المختصر المفيد برده
هو برنامج مجانى خاص باليونكس ولينكس > بيعمل فى البيئة اللى بتحتاج نقل ملفات من طرف لاخر بشكل مستمر .. بيكون فى استطاعته تنفيذ عدد مختلف من التحميل والرفع للملفات عبر الشبكة ككل
( ناقلا الملفات التى تم حدوث تغييرات عليها )
استخداماته مفيدة جدا وامكاناته ايضا كثيرة .. ولكن حتى لا نتفرع الى امور اخرى .. نستكمل

لتركيبه ننفذ الامر
رمز PHP:

yum install rsync

ثم نستخدمه لجلب ملفات اللوج من ال3 سيرفرات
رمز PHP:

rsync -azv user@apache1:/var/logs/httpd/access_logs* $D/raw/apache1
rsync -azv user@apache2:/var/logs/httpd/access_logs* $D/raw/apache2
rsync -azv user@apache3:/var/logs/httpd/access_logs* $D/raw/apache3

نلاحظ جلب الملفات ونقلها الى المسارات اللى انشأناها من قبل .

نأتى لتنفيذ عملية الدمج بواسطة ال logresolvmerg.pl ( awstats)

رمز PHP:

/usr/share/awstats/tools/logresolvemerge.pl $D/raw/apache1/access_logs* $D/raw/apache2/access_logs* \
$D/raw/apache3/access_logs* > $D/raw/merged_access_logs

الامر اعلاه ... يقوم بانشاء ملف $D/raw/merged_access_logs
نحتاجه طبعا لانشاء اللوجز

نقدر نحذف الملفات الاخرى الان .. لم يعد لها حاجة

رمز PHP:

rm -f $D/raw/apache1/access_logs*
rm -f $D/raw/apache2/access_logs*
rm -f $D/raw/apache3/access_logs*

الان تركيب Webalizer وهو يقوم بعمل تحليل لملفات اللوج على شكل رسومى يتم عرضه عن طريق المتصفح بشكل مفصل جدا وكمان نقدر وضع الاطار الزمنى لعمله ..

رمز PHP:

yum install webalizer

نصنع ملف الكونفج الخاص به
رمز PHP:

mkdir -p $D/reports/webalizer
cp /etc/webalizer.conf.sample $D/reports/webalizer/webalizer.conf

نقوم بالتعديل عليه
رمز PHP:

pico $D/reports/webalizer/webalizer.conf

نحدثه كالتالى :
رمز PHP:

LogFile /var/logs/clusterlogs/raw/merged_access_logs
OutputDir /var/www/usage
HistoryName /var/logs/clusterlogs/raw/webalizer.hist
Incremental yes
IncrementalName /var/logs/clusterlogs/raw/webalizer.current
HostName lordofwar

احفظ الملف واغلق .. ثم
رمز PHP:

webalizer -c $D/reports/webalizer/webalizer.conf

التقارير سوف تكون على المسار /var/www/

لقراءتها من على ال cashingnode عن طريق http://cachingnode/"USE" ال USE مسارنا اللى شغالين عليه (يتغير)

اخر شىءسكربت باش اول شل للكرون وتنظيم اللوج ...
رمز PHP:

pico /etc/cron.daily/fetchapachelogs.sh

الملف بالمرفقات ... انسخ المحتوى وضعه فى الملف وقم بالحفظ .. وانتهى العمل .

اعرف ان الطريقة ليست باهتمام الكثير .. ولكنى استفدت منها فى عدة اشياء اتمنى الافادة للجميع
كما ان مراجعة التقارير بالشكل الرسومى .. اسهل للجميع بإذن الله .

فى خطوات لمراجعة التقارير بشكل رسومى على كل من awstats ولكنى لم اذكرها . ال webalizer رائع.

اسف للاطالة وتحياتى لكم جميعا بإذن الله :)