it-swarm.asia

كيف يمكنني تحليل ملفات سجل Amazon S3؟

ما هي أفضل الخيارات لتحليل ملفات السجل Amazon S3 (تخزين بسيط)؟ قمت بتشغيل تسجيل الدخول والآن لدي ملفات سجل تبدو هكذا:

858e709ba90996df37d6f5152650086acb6db14a67d9aaae7a0f3620fdefb88f files.example.com [08/Jul/2010:10:31:42 +0000] 68.114.21.105 65a011a29cdf8ec533ec3d1ccaae921c 13880FBC9839395C REST.GET.OBJECT example.com/blog/wp-content/uploads/2006/10/kitties_we_cant_stop_here_this_is_bat_country.jpg "GET /example.com/blog/wp-content/uploads/2006/10/kitties_we_cant_stop_here_this_is_bat_country.jpg HTTP/1.1" 200 - 32957 32957 12 10 "http://atlanta.craigslist.org/forums/?act=Q&ID=163218891" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.19) Gecko/2010031422 Firefox/3.0.19" -

ما هي أفضل الخيارات لأتمتة ملفات السجل؟ أنا لا أستخدم أي خدمات أمازون أخرى بخلاف S3.

2
artlung

توصي Amazon باستخدام AWStats وتتضمن إرشادات حول كيفية إعداد ملف تكوين AWStats . ستحتاج أيضًا إلى إعداد بعض الطرق لأتمتة تنزيل السجلات إلى مكان تثبيت AWStats.

أنا شخصياً أستخدم cron لإطلاق Python برنامج نصي يستخدم boto للاستيلاء على الملفات.

"""s3logDL.py

Downloads S3 logs and deletes old logs

Usage: python s3logDL.py"""

import sys
import os
from boto.s3 import Connection
import boto.s3

########################


########################

def main(argv):
    s3 = Connection('ACCESS_ID', 'PASSWORD')
    logsBucket = s3.get_bucket('logbucket')

    for b in logsBucket:
        #Download log
        print b.name
        key = logsBucket.get_key(b.name)
        fp = open("/PATH/TO/SAVE/POINT/" + b.name, "w")
        key.get_file(fp)

        #Delete log
        key.delete()

    exit(0)


########################

if __== '__main__':
    main(sys.argv)
2
Chealion

نحن على وشك إطلاق Qloudstat والتي ستمنحك تحليلات لحساب S3 الخاص بك كخدمة.

1
David Kocher