[ASK] cache.log, referrer.log, access.log !!!

Diskusi tentang Ubuntu Server baik webserver, database server, samba server dan service lainnya serta jaringan menggunakan Sistem Operasi Ubuntu.
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

[ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 21 May 2013, 15:51

Kepada para sesepuh yang disini
newbie ingin bertanya tentang fungsi sebenarnya cache.log dan access.log
apakah jika kita disable fungsi tersebut di squid, berpengaruh tidak untuk system HIT nya Proxy ???

Code: Select all

#cache_access_log /var/log/squid/access.log
#access_log /var/log/squid/access.log
#cache_log none
#cache_store_log none


Apa kegunaan fungsi diatas tersebut ???
Jika disable semuanya, system berjalan dengan normal atau tidak ???

Terima Kasih sebelumnya
Last edited by GongLang on 27 Feb 2016, 22:04, edited 1 time in total.
Reason: ganti topik
User avatar
thrvers
Posts: 4458
Joined: 01 Jan 2010, 13:28
Location: Jombang, Indonesia
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby thrvers » 21 May 2013, 16:07

'
log - sebagai catatan, umumnya digunakan untuk deteksi error pada aplikasi yang berupa daftar waktu dan pesan.

bila dinon aktifkan tidak akan berpengaruh ke aplikasi tersebut.

-tolong koreksi bila ada salah-
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 21 May 2013, 16:16

Terima kasih telah me-reply di thread ini
soalnya, saya menjumpai Squid tiba-tiba STOPS / shutdown
Squid bekerja normal, sehingga sewaktu bekerja diatas 6 jam lebih, squid selalu stops sendiri

Setelah saya check, mungkin di sebabkan karna access.log, cache.log kepenuhan sehingga saat rotate files, squid mati sendiri

Apakah bisa seperti itu ???
Squid diaccess lebih dari 1000 users

[spoiler=squidclient mgr:info]

Code: Select all

root@BestCom:/home/csper# squidclient -h 127.0.0.1 mgr:info
HTTP/1.0 200 OK
Server: squid/2.7.STABLE9
Date: Tue, 21 May 2013 09:13:07 GMT
Content-Type: text/plain
Expires: Tue, 21 May 2013 09:13:07 GMT
X-Cache: MISS from Dreamz@Network.Solutions
X-Cache-Lookup: MISS from Dreamz@Network.Solutions:3128
Via: 1.0 Dreamz@Network.Solutions:3128 (squid/2.7.STABLE9)
Connection: close

Squid Object Cache: Version 2.7.STABLE9
Start Time:     Tue, 21 May 2013 06:35:00 GMT
Current Time:   Tue, 21 May 2013 09:13:07 GMT
Connection information for squid:
        Number of clients accessing cache:      73
        Number of HTTP requests received:       1079711
        Number of ICP messages received:        0
        Number of ICP messages sent:    0
        Number of queued ICP replies:   0
        Number of HTCP messages received:       0
        Number of HTCP messages sent:   0
        Request failure ratio:   0.00
        Average HTTP requests per minute since start:   6828.9
        Average ICP messages per minute since start:    0.0
        Select loop called: 20458326 times, 0.464 ms avg
Cache information for squid:
        Request Hit Ratios:     5min: 36.5%, 60min: 36.0%
        Byte Hit Ratios:        5min: 37.6%, 60min: 34.5%
        Request Memory Hit Ratios:      5min: 0.5%, 60min: 0.5%
        Request Disk Hit Ratios:        5min: 79.5%, 60min: 80.3%
        Storage Swap size:      151810876 KB
        Storage Mem size:       17812 KB
        Mean Object Size:       69.21 KB
        Requests given to unlinkd:      0
Median Service Times (seconds)  5 min    60 min:
        HTTP Requests (All):   0.19742  0.19742
        Cache Misses:          0.28853  0.33943
        Cache Hits:            0.03829  0.03066
        Near Hits:             0.15888  0.08729
        Not-Modified Replies:  0.00000  0.00000
        DNS Lookups:           0.00094  0.00094
        ICP Queries:           0.00000  0.00000
Resource usage for squid:
        UP Time:        9486.503 seconds
        CPU Time:       1715.735 seconds
        CPU Usage:      18.09%
        CPU Usage, 5 minute avg:        25.87%
        CPU Usage, 60 minute avg:       25.95%
        Process Data Segment Size via sbrk(): 386464 KB
        Maximum Resident Size: 1709904 KB
        Page faults with physical i/o: 40
Memory usage for squid via mallinfo():
        Total space in arena:  386464 KB
        Ordinary blocks:       384574 KB    663 blks
        Small blocks:               0 KB      0 blks
        Holding blocks:         64728 KB      5 blks
        Free Small blocks:          0 KB
        Free Ordinary blocks:    1889 KB
        Total in use:          449302 KB 100%
        Total free:              1889 KB 0%
        Total size:            451192 KB
Memory accounted for:
        Total accounted:       303365 KB
        memPoolAlloc calls: 207622057
        memPoolFree calls: 200989622
File descriptor usage for squid:
        Maximum number of file descriptors:   65536
        Largest file desc currently in use:   1928
        Number of file desc currently in use: 1729
        Files queued for open:                   8
        Available number of file descriptors: 63799
        Reserved number of file descriptors:   100
        Store Disk files open:                 147
        IO loop method:                     epoll
Internal Data Structures:
        2193886 StoreEntries
           563 StoreEntries with MemObjects
            38 Hot Object Cache Items
        2193430 on-disk objects

[/spoiler]

Apakah bisa berpengaruh juga ???
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby q_p » 21 May 2013, 23:35

... ingin bertanya tentang fungsi sebenarnya cache.log dan access.log.
apakah jika kita disable fungsi tersebut di squid, berpengaruh tidak untuk system HIT nya Proxy ???

Sama seperti reply yang diberikan mas thrvrs, log-file diperlukan sbagai bahan analisa, baik itu untuk tujuan pengembangan (development) maupun untuk mengalanisa jika suatu ketika kena kasus. Seperti crash, yang sekarang ini dialami squid anda setiap 6 jam. Saya tambahkan beberapa catatan, a.l =
  • Men-disable beberapa log agar squid tdk melakukan logging dilakukan bukan dengan memberikan tanda pagar. Pengaturan di squid.conf dikenal dengan istilah deklarasi.
  • Jika satu atau beberapa tag squid tidak di-kelarasai-kan, squid akan menggunakan tag tsb dengan nilai default. Dengan memberikan tanda pagar, squid mengartikan = "bukan disuruh men-disable, tetapi disuruh menggunakan nilai default"
  • Kaitannya dengan logging tsb, jika kita ingin agar squid tdk melakukan pencatatan log, bisa anda gunakan opsi /dev/null
    Misalnya

    Code: Select all

    cache_log /dev/null
    cache_store_log /dev/null
Setelah saya check, mungkin di sebabkan karna access.log, cache.log kepenuhan sehingga saat rotate files, squid mati sendiri

User avatar
SyaifuddinJW
Posts: 152
Joined: 22 Feb 2010, 10:59
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby SyaifuddinJW » 21 May 2013, 23:49

izin nyimak juga
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 22 May 2013, 02:17

Pragola_Pati wrote:Sama seperti reply yang diberikan mas thrvrs, log-file diperlukan sbagai bahan analisa, baik itu untuk tujuan pengembangan (development) maupun untuk mengalanisa jika suatu ketika kena kasus. Seperti crash, yang sekarang ini dialami squid anda setiap 6 jam. Saya tambahkan beberapa catatan, a.l =
  • Men-disable beberapa log agar squid tdk melakukan logging dilakukan bukan dengan memberikan tanda pagar. Pengaturan di squid.conf dikenal dengan istilah deklarasi.
  • Jika satu atau beberapa tag squid tidak di-kelarasai-kan, squid akan menggunakan tag tsb dengan nilai default. Dengan memberikan tanda pagar, squid mengartikan = "bukan disuruh men-disable, tetapi disuruh menggunakan nilai default"
  • Kaitannya dengan logging tsb, jika kita ingin agar squid tdk melakukan pencatatan log, bisa anda gunakan opsi /dev/null
    Misalnya

    Code: Select all

    cache_log /dev/null
    cache_store_log /dev/null



Terima Kasih atas masukannya mas
Jadi lebih mengerti masalah Log dan apa kegunaan fungsi Log jika diarahkan ke system /dev/null

Satu Hal lagi Mas ... jika overload ... apakah Penyebab perangkat ???

Berikut ini adalah Hardware yang di gunakan

Code: Select all

Proc : AMD Athlon II X2 270 @3.4 Ghz L2 Cache 2Mb
Mobo : Foxconn N61S (Jika saya tidak salah ingat code nya, yang penting termasuk series 6100)
RAM : 4GB DDR2 (2pcs 2GB x2) PC 10600
HDD : 3 Keping HDD = 320 GB WDC Blue + 500 GB Seagate Sata3 + 500 GB Seagate Sata3
(320GB untuk system Only dan backup cache jika saat clear cache di HDD lain, 2 HDD 500 GB untuk Cache Only)
VGA : Onboard dengan share memory sebesar 32Mb (Setting di Bios)
LAN : PCI LAN Card D-Link Gigabit DGE-520T
PSU : Thermaltake LitePower 600W


Apakah hardware tersebut masih kurang memadai ???
Rencana si pemilik mau Upgrade ke perangkat ini

Code: Select all

Mobo : ECS A85F2-A Deluxe Black Series
PROC : AMD APU A10 - X4 5800K L2 Cache 4Mb @3.8Ghz burst to 4.2Ghz
RAM : Corsair Vengeance CMZ8GX3M1A1600C9 8GB = 1pcs (Jika ada tambahan dana rencananya mau di
tambah 1 keping lagi jadi total 16GB RAM)
VGA : HD 7660D (From Processor)
SSD : Corsair CSSD-N120GB3-BK 128GB [Sata3, 540/211 MB/s, 51K IOPS]
(System and backup cache jika terjadi kendala di cache utama)
HDD : Seagate XT 2TB 7200rpm Pure (Cache Only)
PSU : Extreme Powe Plus 525W Regular
LAN : PCI LAN Card D-Link Gigabit DGE-520T


system perangkat Mikrotik sudah menggunakan Gigabit, jadi system LAN Proxy ke Mikrotik sudah jelas 1Gbit FULL Duplex

Mohon masukannya dari parah sesepuh disini
Jikala ada kesalahan, mohon di koreksi

Terima Kasih
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby q_p » 22 May 2013, 07:13

... jika overload ... apakah Penyebab perangkat ???

Dari yang saya alami, tergantung konfigurasi. Dengan kata lain. lakukan konfigurasi sesuai ketersediaan perangkat (terutama RAM dan HDD). Sekedar masukan, terutama kaitannya dengan gagasan anda menyusun skrip auto-start untuk squid jika crash/down =
  • check squid jalan tdk-nya dengan perintah ps aux |grep squid atau netstat -pln | grep squid.
  • Perhatikan di sana ada PID yang bisa anda jadikan patokan untuk menyusun skrip auto-start jika squid down, seperti yang anda gagas sebelumnya. Jika PID tsb tidak ditemukan, maka /etc/init.d/squid di eksekusi.
  • Cek konsumsi RAM dengan perinta free -m atau top, kalau2 sudah merambah ke SWAP. Biasanya ini titik kritis sebelum squid crash/down.
  • Cek Indicator LED-HDD casing server
  • Rencana ganti Hardware, mobonya usahakan yang mempunyai 4 slot RAM dan masing2 dengan kapasitas maks 8 GB
Segini dulu, sambil berharap ada warga lain yang mau nambahin :)
cmiiw
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 22 May 2013, 11:07

Pragola_Pati wrote:
... jika overload ... apakah Penyebab perangkat ???

Dari yang saya alami, tergantung konfigurasi. Dengan kata lain. lakukan konfigurasi sesuai ketersediaan perangkat (terutama RAM dan HDD). Sekedar masukan, terutama kaitannya dengan gagasan anda menyusun skrip auto-start untuk squid jika crash/down =
  • check squid jalan tdk-nya dengan perintah ps aux |grep squid atau netstat -pln | grep squid.
  • Perhatikan di sana ada PID yang bisa anda jadikan patokan untuk menyusun skrip auto-start jika squid down, seperti yang anda gagas sebelumnya. Jika PID tsb tidak ditemukan, maka /etc/init.d/squid di eksekusi.
  • Cek konsumsi RAM dengan perinta free -m atau top, kalau2 sudah merambah ke SWAP. Biasanya ini titik kritis sebelum squid crash/down.
  • Cek Indicator LED-HDD casing server
  • Rencana ganti Hardware, mobonya usahakan yang mempunyai 4 slot RAM dan masing2 dengan kapasitas maks 8 GB
Segini dulu, sambil berharap ada warga lain yang mau nambahin :)
cmiiw


Nambahin Pengetahuan atau menambah dana buat belanja :p

Hehehe

Terima Kasih mas atas masukannya

Ini saya rencana mau install ulang lagi squid nya ... install ulang OS nya sepertinya hal yang mustahil lagi deh. teringat posisi saya di luar kota :(

Jika saya compile dengan config seperti di bawah ini gimana mas ???

Code: Select all

CHOST="x86_64-pc-linux-gnu" CFLAGS="-march=amdfam10 -O2 -pipe" CXXFLAGS="${CFLAGS}" \
./configure --prefix=/usr --exec-prefix=/usr --bindir=/usr/sbin \
--sbindir=/usr/sbin --libexecdir=/usr/lib/squid --sysconfdir=/etc/squid \
--localstatedir=/var/spool/squid --datadir=/usr/share/squid \
--enable-gnuregex --enable-async-io --with-aufs-threads \
--with-pthreads --with-aio --with-dl --enable-storeio=aufs,null \
--enable-removal-policies="heap,lru" --enable-icmp --enable-delay-pools \
--disable-wccp --enable-snmp --enable-cache-digests --enable-poll\
--enable-default-err-language=English --enable-err-languages=English \
--enable-linux-netfilter --disable-ident-lookups --with-maxfd=65536 \
--enable-follow-x-forwarded-for --enable-large-cache-files \
--with-large-files --enable-truncate --disable-unlinkd --enable-referer-log



Untuk --enable-async-io saya hilangkan =24 apakah berpengaruh ???
serta --with-aufs-threads saya hilangkan juga =24

Soalnya, tadi tengah malam oprek oprek dapat beginian neh mas ...
sekedar masukan juga buat warga-warga yang masuk newbie seperti saya
[color:#3366FF]TUTORIAL Compile squid serta sedikit Penjelasan[/color]

Soalnya, di link tersebut, tidak di jelaskan fungsi =24 nya Mas ...

Jika --enable-async-io=24 <<< pengertian =24 nya mas ???

Thanks telah merepotkan
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby q_p » 22 May 2013, 18:36

...
Untuk --enable-async-io saya hilangkan =24 apakah berpengaruh ???
serta --with-aufs-threads saya hilangkan juga =24
...


Sebenarnya gak usah jauh2 ke link tsb untuk melihat semua opsi yang bisa digunakan untuk melakukan konfigurasi, cukup dengan perintah =

Code: Select all

./configure --help
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 23 May 2013, 14:37

Pragola_Pati wrote:
Sebenarnya gak usah jauh2 ke link tsb untuk melihat semua opsi yang bisa digunakan untuk melakukan konfigurasi, cukup dengan perintah =

Code: Select all

./configure --help




./configure --help <<< Kepanjangan Mas ... gk tau cara mempause kan nya
masih awam :p

akhirnya saya compile dengan seperti ini

Code: Select all

'--prefix=/usr' '--exec-prefix=/usr' '--bindir=/usr/sbin' '--sbindir=/usr/sbin' '--libexecdir=/usr/lib/squid' /
'--sysconfdir=/etc/squid' '--localstatedir=/var/spool/squid' '--datadir=/usr/share/squid' '--enable-gnuregex' /
'--enable-async-io' '--with-aufs-threads=24' '--with-pthreads' '--with-aio' '--with-dl' /
'--enable-storeio=aufs,null' '--enable-removal-policies=heap,lru' '--enable-icmp' '--enable-delay-pools' /
'--disable-wccp' '--enable-snmp' '--enable-cache-digests' '--enable-poll' '--enable-default-err-language=English' /
'--enable-err-languages=English' '--enable-linux-netfilter' '--disable-ident-lookups' '--with-maxfd=65536' /
'--enable-follow-x-forwarded-for' '--enable-large-cache-files' '--with-large-files' '--enable-truncate' /
'--disable-unlinkd' '--enable-referer-log' 'CFLAGS=-march=amdfam10 -O2 -pipe'


dan untuk system access.log seperti yang Mas sarankan

cache_access_log /dev/null
cache_store_log none
cache_log none
referer_log /var/log/squid/referer.log


untuk referer log masih saya pergunakan karna mau cache youtube

Akan tetapi, jika saya perhatikan, kenapa system cache nya masih gk gitu sempurna yah untuk Output nya mas ???

Apakah Cache.log berpengaruh ???
Jika access.log hanya untuk melihat data yang sedang di akses oleh client (jika tidak salah)

dan untuk tune.conf nya apakah berpengaruh juga ???
saya menggunakan tune.conf seperti ini

Code: Select all

global_internal_static off
max_stale 10 years
retry_on_error on
buffered_logs on
read_ahead_gap 32 KB

header_access Accept-Encoding deny  all
client_persistent_connections off
server_persistent_connections on
half_closed_clients off
strip_query_terms off
quick_abort_min 0 KB
quick_abort_max 0 KB
quick_abort_pct 100
vary_ignore_expire on
reload_into_ims on
pipeline_prefetch on
read_timeout 30 minutes
client_lifetime 6 hours
negative_ttl 30 seconds
positive_dns_ttl 6 hours
negative_dns_ttl 60 seconds
pconn_timeout 15 seconds
request_timeout 1 minute
store_avg_object_size 13 KB
log_icp_queries off
ipcache_size 16384
ipcache_low 98
ipcache_high 99
log_fqdn off
fqdncache_size 16384
memory_pools off
forwarded_for on
client_db off
max_filedescriptors 65536



Mohon bantuan para sesepuh untuk mengoreksi jika ada yang salah

Terima Kasih
User avatar
sipelaut
Posts: 1963
Joined: 03 Jan 2010, 17:25
Location: madura-sampang
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby sipelaut » 23 May 2013, 16:18

Pragola_Pati wrote:Men-disable beberapa log agar squid tdk melakukan logging dilakukan bukan dengan memberikan tanda pagar. Pengaturan di squid.conf dikenal dengan istilah deklarasi.
[*]Jika satu atau beberapa tag squid tidak di-kelarasai-kan, squid akan menggunakan tag tsb dengan nilai default. Dengan memberikan tanda pagar, squid mengartikan = "bukan disuruh men-disable, tetapi disuruh menggunakan nilai default"
[*]Kaitannya dengan logging tsb, jika kita ingin agar squid tdk melakukan pencatatan log, bisa anda gunakan opsi /dev/null
Misalnya [code]cache_log /dev/null

beghh ane baru ngerti ternyata ngasih tanda pagar "#" haram hukumnya
klo gitu mending ane hilangin ajalah
teng's masbro infonya.... baru ngehhh
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby q_p » 23 May 2013, 17:03

@GongLang
  • Untuk meringkan beban kerja squid, log2 yang tidak kita perlukan bisa di-disable. Sedangkan yang kita perlukan, biarkan squid mencatat log. Jadi tidak semua di-disable.
  • Jika kepanjangan bisa anda lakukan dengan perintah =

    Code: Select all

    ./configure --help > configure.txt
    File outputnya yaitu configure.txt bisa anda download dengan winSCP. Lalu anda buka dengan WordPad atau TextEditor (Ubuntu)
  • tag-tag squid yang masuk dalam kategori tuning bisa langsung anda pelajari di Squid configuration directives
  • Sebaiknya kita kembali fokus ke topik sesuai judul trit anda. Mending anda bikin trit baru di luar topik ini. Jika trit ini anda nilai sudah terjawab, tolong beri tanda SOLVED untuk membantu admin (juga warga FUI lainya) melakukan indexing/searching.

@SiPelaut
:)
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 23 May 2013, 21:24

[quote=sipelaut][quote=Pragola_Pati]Men-disable beberapa log agar squid tdk melakukan logging dilakukan bukan dengan memberikan tanda pagar. Pengaturan di squid.conf dikenal dengan istilah deklarasi.
[*]Jika satu atau beberapa tag squid tidak di-kelarasai-kan, squid akan menggunakan tag tsb dengan nilai default. Dengan memberikan tanda pagar, squid mengartikan = "bukan disuruh men-disable, tetapi disuruh menggunakan nilai default"
[*]Kaitannya dengan logging tsb, jika kita ingin agar squid tdk melakukan pencatatan log, bisa anda gunakan opsi /dev/null
Misalnya

Code: Select all

cache_log /dev/null
[/quote]
beghh ane baru ngerti ternyata ngasih tanda pagar "#" haram hukumnya
klo gitu mending ane hilangin ajalah
teng's masbro infonya.... baru ngehhh [/quote]

Iyah neh Mass ...
tak kirain hilangin kress "#" itu berarti disable
ternyata back to default -_-

Berkat mas Pragola_Pati neh ... ane jadi mengerti fungsi Kress "#" sebenarnya di squid.
sehingga, malas mengeti lagi, saya buatkan backup jikalau akan di pergunakan suatu saat

[code]
#cache_access_log /var/log/squid/access.log
cache_access_log /dev/null
cache_log none
cache_store_log none
referer_log /var/log/squid/referer.log



dimana cache_access_log bisa akan bekerja sesuai perintah dimana biasanya dia menyimpan atau bekerja jika saya hilangkan tanda Kress nya "#" dan agar squid tidak bingung, cache yang seharusnya tidak tertulis, akan di simpan command nya dulu buat sementara :p

cmiiw



Hmm ... untuk melihat squid bermasalah mati todal ... apakah ada di system cache.log mas @Pragola_Pati ???
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 23 May 2013, 22:40

Code: Select all

root@BestCom:/home/csper# ls -lah /var/log/squid/
total 2.5G
drwxr-xr-x  2 proxy proxy 4.0K 2013-05-22 11:51 .
drwxr-xr-x 11 root  root  4.0K 2013-05-23 21:29 ..
-rw-r-----  1 proxy proxy 546K 2013-05-22 11:59 access.log
-rw-r-----  1 proxy proxy 3.7K 2013-05-22 11:35 cache.log
-rw-r-----  1 proxy proxy 2.5G 2013-05-23 22:37 referer.log
-rw-r-----  1 proxy proxy    0 2013-05-22 11:20 store.log



kumat lagi mas Proxy nya -_-

apakah karna referer log nya terlalu gede ???

Code: Select all

root@BestCom:/home/csper# df -H
Filesystem             Size   Used  Avail Use% Mounted on
/dev/sda5               40G   4.9G    33G  14% /
udev                   2.0G   4.1k   2.0G   1% /dev
tmpfs                  778M   312k   778M   1% /run
none                   5.3M      0   5.3M   0% /run/lock
none                   2.0G      0   2.0G   0% /run/shm
/dev/sda1              1.1G    83M   945M   9% /boot
/dev/sdb5              101G    23G    75G  24% /cache01
/dev/sdb6              100G    24G    74G  25% /cache02
/dev/sdb7              100G    23G    75G  24% /cache03
/dev/sdb8              100G    23G    75G  24% /cache04
/dev/sdb9              101G    23G    75G  24% /cache05
/dev/sdc5              101G    24G    74G  25% /cache06
/dev/sdc6              100G    24G    74G  24% /cache07
/dev/sdc7              100G    23G    75G  24% /cache08
/dev/sdc8              100G    24G    74G  24% /cache09
/dev/sdc9              101G    23G    74G  24% /cache10
/dev/sda7               91G   3.3M    89G   1% /cache21
/dev/sda8               90G   3.3M    88G   1% /cache22
/dev/sda9               90G   3.3M    88G   1% /cache23



space nya buat partition root masih banyak ...
salah dimana yah ...
untuk mengecheck squid tiba-tiba mati itu biasanya dimana yah mas ... ???


dan saat squid bekerja, ada kesalahan dimana yah ???

Code: Select all

4% user, 7% kernel, 89% IO, 0% idle



Thanks
Last edited by GongLang on 27 Feb 2016, 22:04, edited 1 time in total.
Reason: melengkapi data
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby q_p » 24 May 2013, 11:38

Sudah saya sarankan =
Pragola_Pati wrote:...
Cek konsumsi RAM dengan perinta free -m atau top, kalau2 sudah merambah ke SWAP. Biasanya ini titik kritis sebelum squid crash/down.
...
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 24 May 2013, 17:47

Maaf Mas ... Gak nampak akibat sudah bingung -_-

Sorry ...

Code: Select all

top - 17:46:10 up 24 min,  1 user,  load average: 1.52, 2.49, 4.15
Tasks: 291 total,   1 running, 290 sleeping,   0 stopped,   0 zombie
Cpu(s): 12.8%us, 28.3%sy,  0.0%ni, 24.2%id, 29.7%wa,  0.0%hi,  5.0%si,  0.0%st
Mem:   3798324k total,  3613800k used,   184524k free,     9556k buffers
Swap:  7811068k total,      276k used,  7810792k free,  3054900k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 1990 proxy     20   0  267m 220m 1748 S   78  5.9  14:09.78 squid
    3 root      20   0     0    0    0 S    0  0.0   0:01.63 ksoftirqd/0
 1235 root      20   0 20056 1672 1272 S    0  0.0   0:01.01 failover-proxy
 1560 root      20   0     0    0    0 S    0  0.0   0:00.28 btrfs-worker-2
 1566 root      20   0     0    0    0 S    0  0.0   0:00.50 btrfs-worker-1
 1571 root      20   0     0    0    0 S    0  0.0   0:00.45 btrfs-worker-3
 1578 root      20   0     0    0    0 S    0  0.0   0:00.67 btrfs-worker-1
 1991 proxy     20   0 20056 3020 1784 S    0  0.1   0:05.38 storeurl.pl
 2258 root      20   0     0    0    0 S    0  0.0   0:00.35 btrfs-endio-wri
 2277 root      20   0     0    0    0 S    0  0.0   0:00.38 btrfs-endio-wri
 2297 root      20   0     0    0    0 S    0  0.0   0:00.47 btrfs-endio-wri
 7731 root      20   0 21608 1484  956 R    0  0.0   0:00.25 top
    1 root      20   0 24060 2096 1260 S    0  0.1   0:00.41 init
    2 root      20   0     0    0    0 S    0  0.0   0:00.00 kthreadd
    6 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/0
    7 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/1
    9 root      20   0     0    0    0 S    0  0.0   0:00.07 ksoftirqd/1
   10 root      20   0     0    0    0 S    0  0.0   0:01.61 kworker/0:1
   11 root       0 -20     0    0    0 S    0  0.0   0:00.00 cpuset
   12 root       0 -20     0    0    0 S    0  0.0   0:00.00 khelper
   13 root       0 -20     0    0    0 S    0  0.0   0:00.00 netns
   15 root      20   0     0    0    0 S    0  0.0   0:00.00 sync_supers
   16 root      20   0     0    0    0 S    0  0.0   0:00.00 bdi-default
   17 root       0 -20     0    0    0 S    0  0.0   0:00.00 kintegrityd
   18 root       0 -20     0    0    0 S    0  0.0   0:00.00 kblockd
   19 root       0 -20     0    0    0 S    0  0.0   0:00.00 ata_sff
   20 root      20   0     0    0    0 S    0  0.0   0:00.00 khubd
   21 root       0 -20     0    0    0 S    0  0.0   0:00.00 md
   22 root      20   0     0    0    0 S    0  0.0   0:00.09 kworker/1:1
   23 root      20   0     0    0    0 S    0  0.0   0:00.00 khungtaskd
   24 root      20   0     0    0    0 S    0  0.0   0:00.27 kswapd0
   25 root      25   5     0    0    0 S    0  0.0   0:00.00 ksmd
   26 root      39  19     0    0    0 S    0  0.0   0:00.00 khugepaged
   27 root      20   0     0    0    0 S    0  0.0   0:00.02 fsnotify_mark
   28 root      20   0     0    0    0 S    0  0.0   0:00.00 ecryptfs-kthrea
   29 root       0 -20     0    0    0 S    0  0.0   0:00.00 crypto
   37 root       0 -20     0    0    0 S    0  0.0   0:00.00 kthrotld
  236 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_0
  239 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_1
  241 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/u:2
  244 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_2
  246 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_3
  247 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/u:3
  250 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/0:2
  277 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/1:2
  320 root      20   0     0    0    0 S    0  0.0   0:00.04 jbd2/sda5-8
  321 root       0 -20     0    0    0 S    0  0.0   0:00.00 ext4-dio-unwrit
  380 root      20   0 17116  640  444 S    0  0.0   0:00.04 upstart-udev-br
  384 root      20   0 21716 1552  768 S    0  0.0   0:00.03 udevd
  501 root      20   0 21596 1048  320 S    0  0.0   0:00.00 udevd
  524 root       0 -20     0    0    0 S    0  0.0   0:00.00 edac-poller
  536 root      20   0 21596 1048  320 S    0  0.0   0:00.00 udevd
  627 root      20   0 15068  380  196 S    0  0.0   0:00.00 upstart-socket-
  652 root      20   0     0    0    0 S    0  0.0   0:00.00 rc0
  711 root       0 -20     0    0    0 S    0  0.0   0:00.00 ttm_swap
  735 root      20   0     0    0    0 S    0  0.0   0:00.00 jbd2/sda1-8
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby q_p » 24 May 2013, 18:16

Nah itu sudah kelihatan merambah ke SWAP =

Code: Select all

Swap:  7811068k total,      276k used,  7810792k free,  3054900k cached

  • Itu tandanya squid anda tidak sehat
  • Total volume fisik RAM kekecilan
  • Total vulume dir_cache kebesaran
Saya tawarkan serangkaian solusi =
  • Kurangi dir_cache
  • Tambah RAM
  • maximum_object_size_in_memory beri nilai 0 sehingga squid langsung menyimpan obyek ke hdd
  • cache_mem beri nilai yang kecil saja, misalnya 8 MB
  • Tambahkan ke dalam file /etc/sysctl.conf (setelah selesai, jalankan sysctl -p)

    Code: Select all

    vm.drop_caches=3
  • Tambahkan ke dalam cron-job (jalankan crontab -e)

    Code: Select all

    @hourly sync && sysctl -w vm.drop_caches=3 && sysctl -w vm.drop_caches=0
Point pertama dan kedua sifatnya permanen, mau tdk mau anda harus melakukkan. Sambil menunggu realisasi tsb, anda bisa mempraktekkan point ke-3 dan seterusnya :)
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 24 May 2013, 19:16

top ubuntu server

Code: Select all

top - 19:15:20 up  1:54,  1 user,  load average: 15.24, 12.56, 10.56
Tasks: 275 total,   2 running, 273 sleeping,   0 stopped,   0 zombie
Cpu(s): 12.5%us, 31.2%sy,  0.0%ni,  0.7%id, 50.0%wa,  0.0%hi,  5.6%si,  0.0%st
Mem:   3798324k total,  1377528k used,  2420796k free,     7332k buffers
Swap:  7811068k total,     4140k used,  7806928k free,   863792k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 1990 proxy     20   0  280m 232m 1584 R   92  6.3  72:00.96 squid
 1991 proxy     20   0 20056 2920 1692 S    1  0.1   0:28.95 storeurl.pl
  784 root      20   0     0    0    0 S    0  0.0   0:02.42 btrfs-worker-0
 1235 root      20   0 20500 1888 1044 S    0  0.0   0:05.04 failover-proxy
 1313 root      20   0     0    0    0 S    0  0.0   0:00.84 flush-btrfs-1
 1347 root      20   0     0    0    0 S    0  0.0   0:00.77 flush-btrfs-3
 2053 root      20   0     0    0    0 S    0  0.0   0:02.69 btrfs-endio-wri
 2244 root      20   0     0    0    0 S    0  0.0   0:03.00 btrfs-endio-wri
 2834 root      20   0     0    0    0 S    0  0.0   0:03.33 btrfs-endio-met
32460 root      20   0 21608 1484  956 R    0  0.0   0:00.04 top
    1 root      20   0 24060 1304  876 S    0  0.0   0:00.42 init
    2 root      20   0     0    0    0 S    0  0.0   0:00.00 kthreadd
    3 root      20   0     0    0    0 S    0  0.0   0:07.76 ksoftirqd/0
    6 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/0
    7 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/1
    9 root      20   0     0    0    0 S    0  0.0   0:00.33 ksoftirqd/1
   10 root      20   0     0    0    0 S    0  0.0   0:03.81 kworker/0:1
   11 root       0 -20     0    0    0 S    0  0.0   0:00.00 cpuset
   12 root       0 -20     0    0    0 S    0  0.0   0:00.00 khelper
   13 root       0 -20     0    0    0 S    0  0.0   0:00.00 netns
   15 root      20   0     0    0    0 S    0  0.0   0:00.01 sync_supers
   16 root      20   0     0    0    0 S    0  0.0   0:00.00 bdi-default
   17 root       0 -20     0    0    0 S    0  0.0   0:00.00 kintegrityd
   18 root       0 -20     0    0    0 S    0  0.0   0:00.00 kblockd
   19 root       0 -20     0    0    0 S    0  0.0   0:00.00 ata_sff
   20 root      20   0     0    0    0 S    0  0.0   0:00.00 khubd
   21 root       0 -20     0    0    0 S    0  0.0   0:00.00 md
   22 root      20   0     0    0    0 S    0  0.0   0:00.46 kworker/1:1
   23 root      20   0     0    0    0 S    0  0.0   0:00.00 khungtaskd
   24 root      20   0     0    0    0 S    0  0.0   0:03.99 kswapd0
   25 root      25   5     0    0    0 S    0  0.0   0:00.00 ksmd
   26 root      39  19     0    0    0 S    0  0.0   0:00.00 khugepaged
   27 root      20   0     0    0    0 S    0  0.0   0:00.02 fsnotify_mark
   28 root      20   0     0    0    0 S    0  0.0   0:00.00 ecryptfs-kthrea
   29 root       0 -20     0    0    0 S    0  0.0   0:00.00 crypto
   37 root       0 -20     0    0    0 S    0  0.0   0:00.00 kthrotld
  236 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_0
  239 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_1
  241 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/u:2
  244 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_2
  246 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_3
  247 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/u:3
  277 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/1:2
  320 root      20   0     0    0    0 S    0  0.0   0:00.25 jbd2/sda5-8
  321 root       0 -20     0    0    0 S    0  0.0   0:00.00 ext4-dio-unwrit
  380 root      20   0 17116  168  168 S    0  0.0   0:00.04 upstart-udev-br
  384 root      20   0 21716  676  672 S    0  0.0   0:00.03 udevd
  501 root      20   0 21596  224  220 S    0  0.0   0:00.00 udevd
  524 root       0 -20     0    0    0 S    0  0.0   0:00.00 edac-poller
  536 root      20   0 21596  224  220 S    0  0.0   0:00.00 udevd
  627 root      20   0 15068    0    0 S    0  0.0   0:00.00 upstart-socket-
  652 root      20   0     0    0    0 S    0  0.0   0:00.00 rc0
  711 root       0 -20     0    0    0 S    0  0.0   0:00.00 ttm_swap
  735 root      20   0     0    0    0 S    0  0.0   0:00.00 jbd2/sda1-8
  736 root       0 -20     0    0    0 S    0  0.0   0:00.00 ext4-dio-unwrit
  739 root      20   0     0    0    0 S    0  0.0   0:03.92 btrfs-worker-0



[img:center]http://img542.imageshack.us/img542/9916/dreamzusages4.png[/img]

Return to “Ubuntu Server”

Who is online

Users browsing this forum: No registered users and 9 guests