[ASK] cache.log, referrer.log, access.log !!!

Diskusi tentang Ubuntu Server baik webserver, database server, samba server dan service lainnya serta jaringan menggunakan Sistem Operasi Ubuntu.
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

[ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 21 May 2013, 15:51

Kepada para sesepuh yang disini
newbie ingin bertanya tentang fungsi sebenarnya cache.log dan access.log
apakah jika kita disable fungsi tersebut di squid, berpengaruh tidak untuk system HIT nya Proxy ???

Code: Select all

#cache_access_log /var/log/squid/access.log #access_log /var/log/squid/access.log #cache_log none #cache_store_log none
Apa kegunaan fungsi diatas tersebut ???
Jika disable semuanya, system berjalan dengan normal atau tidak ???

Terima Kasih sebelumnya
Last edited by GongLang on 27 Feb 2016, 22:04, edited 1 time in total.
Reason: ganti topik
User avatar
thrvers
Posts: 4458
Joined: 01 Jan 2010, 13:28
Location: Jombang, Indonesia
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby thrvers » 21 May 2013, 16:07

'
log - sebagai catatan, umumnya digunakan untuk deteksi error pada aplikasi yang berupa daftar waktu dan pesan.

bila dinon aktifkan tidak akan berpengaruh ke aplikasi tersebut.

-tolong koreksi bila ada salah-
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 21 May 2013, 16:16

Terima kasih telah me-reply di thread ini
soalnya, saya menjumpai Squid tiba-tiba STOPS / shutdown
Squid bekerja normal, sehingga sewaktu bekerja diatas 6 jam lebih, squid selalu stops sendiri

Setelah saya check, mungkin di sebabkan karna access.log, cache.log kepenuhan sehingga saat rotate files, squid mati sendiri

Apakah bisa seperti itu ???
Squid diaccess lebih dari 1000 users

[spoiler=squidclient mgr:info]

Code: Select all

root@BestCom:/home/csper# squidclient -h 127.0.0.1 mgr:info HTTP/1.0 200 OK Server: squid/2.7.STABLE9 Date: Tue, 21 May 2013 09:13:07 GMT Content-Type: text/plain Expires: Tue, 21 May 2013 09:13:07 GMT X-Cache: MISS from Dreamz@Network.Solutions X-Cache-Lookup: MISS from Dreamz@Network.Solutions:3128 Via: 1.0 Dreamz@Network.Solutions:3128 (squid/2.7.STABLE9) Connection: close Squid Object Cache: Version 2.7.STABLE9 Start Time: Tue, 21 May 2013 06:35:00 GMT Current Time: Tue, 21 May 2013 09:13:07 GMT Connection information for squid: Number of clients accessing cache: 73 Number of HTTP requests received: 1079711 Number of ICP messages received: 0 Number of ICP messages sent: 0 Number of queued ICP replies: 0 Number of HTCP messages received: 0 Number of HTCP messages sent: 0 Request failure ratio: 0.00 Average HTTP requests per minute since start: 6828.9 Average ICP messages per minute since start: 0.0 Select loop called: 20458326 times, 0.464 ms avg Cache information for squid: Request Hit Ratios: 5min: 36.5%, 60min: 36.0% Byte Hit Ratios: 5min: 37.6%, 60min: 34.5% Request Memory Hit Ratios: 5min: 0.5%, 60min: 0.5% Request Disk Hit Ratios: 5min: 79.5%, 60min: 80.3% Storage Swap size: 151810876 KB Storage Mem size: 17812 KB Mean Object Size: 69.21 KB Requests given to unlinkd: 0 Median Service Times (seconds) 5 min 60 min: HTTP Requests (All): 0.19742 0.19742 Cache Misses: 0.28853 0.33943 Cache Hits: 0.03829 0.03066 Near Hits: 0.15888 0.08729 Not-Modified Replies: 0.00000 0.00000 DNS Lookups: 0.00094 0.00094 ICP Queries: 0.00000 0.00000 Resource usage for squid: UP Time: 9486.503 seconds CPU Time: 1715.735 seconds CPU Usage: 18.09% CPU Usage, 5 minute avg: 25.87% CPU Usage, 60 minute avg: 25.95% Process Data Segment Size via sbrk(): 386464 KB Maximum Resident Size: 1709904 KB Page faults with physical i/o: 40 Memory usage for squid via mallinfo(): Total space in arena: 386464 KB Ordinary blocks: 384574 KB 663 blks Small blocks: 0 KB 0 blks Holding blocks: 64728 KB 5 blks Free Small blocks: 0 KB Free Ordinary blocks: 1889 KB Total in use: 449302 KB 100% Total free: 1889 KB 0% Total size: 451192 KB Memory accounted for: Total accounted: 303365 KB memPoolAlloc calls: 207622057 memPoolFree calls: 200989622 File descriptor usage for squid: Maximum number of file descriptors: 65536 Largest file desc currently in use: 1928 Number of file desc currently in use: 1729 Files queued for open: 8 Available number of file descriptors: 63799 Reserved number of file descriptors: 100 Store Disk files open: 147 IO loop method: epoll Internal Data Structures: 2193886 StoreEntries 563 StoreEntries with MemObjects 38 Hot Object Cache Items 2193430 on-disk objects
[/spoiler]

Apakah bisa berpengaruh juga ???
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby q_p » 21 May 2013, 23:35

... ingin bertanya tentang fungsi sebenarnya cache.log dan access.log.
apakah jika kita disable fungsi tersebut di squid, berpengaruh tidak untuk system HIT nya Proxy ???
Sama seperti reply yang diberikan mas thrvrs, log-file diperlukan sbagai bahan analisa, baik itu untuk tujuan pengembangan (development) maupun untuk mengalanisa jika suatu ketika kena kasus. Seperti crash, yang sekarang ini dialami squid anda setiap 6 jam. Saya tambahkan beberapa catatan, a.l =
  • Men-disable beberapa log agar squid tdk melakukan logging dilakukan bukan dengan memberikan tanda pagar. Pengaturan di squid.conf dikenal dengan istilah deklarasi.
  • Jika satu atau beberapa tag squid tidak di-kelarasai-kan, squid akan menggunakan tag tsb dengan nilai default. Dengan memberikan tanda pagar, squid mengartikan = "bukan disuruh men-disable, tetapi disuruh menggunakan nilai default"
  • Kaitannya dengan logging tsb, jika kita ingin agar squid tdk melakukan pencatatan log, bisa anda gunakan opsi /dev/null
    Misalnya

    Code: Select all

    cache_log /dev/null cache_store_log /dev/null
Setelah saya check, mungkin di sebabkan karna access.log, cache.log kepenuhan sehingga saat rotate files, squid mati sendiri
User avatar
SyaifuddinJW
Posts: 152
Joined: 22 Feb 2010, 10:59
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby SyaifuddinJW » 21 May 2013, 23:49

izin nyimak juga
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 22 May 2013, 02:17

Sama seperti reply yang diberikan mas thrvrs, log-file diperlukan sbagai bahan analisa, baik itu untuk tujuan pengembangan (development) maupun untuk mengalanisa jika suatu ketika kena kasus. Seperti crash, yang sekarang ini dialami squid anda setiap 6 jam. Saya tambahkan beberapa catatan, a.l =
  • Men-disable beberapa log agar squid tdk melakukan logging dilakukan bukan dengan memberikan tanda pagar. Pengaturan di squid.conf dikenal dengan istilah deklarasi.
  • Jika satu atau beberapa tag squid tidak di-kelarasai-kan, squid akan menggunakan tag tsb dengan nilai default. Dengan memberikan tanda pagar, squid mengartikan = "bukan disuruh men-disable, tetapi disuruh menggunakan nilai default"
  • Kaitannya dengan logging tsb, jika kita ingin agar squid tdk melakukan pencatatan log, bisa anda gunakan opsi /dev/null
    Misalnya

    Code: Select all

    cache_log /dev/null cache_store_log /dev/null
Terima Kasih atas masukannya mas
Jadi lebih mengerti masalah Log dan apa kegunaan fungsi Log jika diarahkan ke system /dev/null

Satu Hal lagi Mas ... jika overload ... apakah Penyebab perangkat ???

Berikut ini adalah Hardware yang di gunakan

Code: Select all

Proc : AMD Athlon II X2 270 @3.4 Ghz L2 Cache 2Mb Mobo : Foxconn N61S (Jika saya tidak salah ingat code nya, yang penting termasuk series 6100) RAM : 4GB DDR2 (2pcs 2GB x2) PC 10600 HDD : 3 Keping HDD = 320 GB WDC Blue + 500 GB Seagate Sata3 + 500 GB Seagate Sata3 (320GB untuk system Only dan backup cache jika saat clear cache di HDD lain, 2 HDD 500 GB untuk Cache Only) VGA : Onboard dengan share memory sebesar 32Mb (Setting di Bios) LAN : PCI LAN Card D-Link Gigabit DGE-520T PSU : Thermaltake LitePower 600W
Apakah hardware tersebut masih kurang memadai ???
Rencana si pemilik mau Upgrade ke perangkat ini

Code: Select all

Mobo : ECS A85F2-A Deluxe Black Series PROC : AMD APU A10 - X4 5800K L2 Cache 4Mb @3.8Ghz burst to 4.2Ghz RAM : Corsair Vengeance CMZ8GX3M1A1600C9 8GB = 1pcs (Jika ada tambahan dana rencananya mau di tambah 1 keping lagi jadi total 16GB RAM) VGA : HD 7660D (From Processor) SSD : Corsair CSSD-N120GB3-BK 128GB [Sata3, 540/211 MB/s, 51K IOPS] (System and backup cache jika terjadi kendala di cache utama) HDD : Seagate XT 2TB 7200rpm Pure (Cache Only) PSU : Extreme Powe Plus 525W Regular LAN : PCI LAN Card D-Link Gigabit DGE-520T
system perangkat Mikrotik sudah menggunakan Gigabit, jadi system LAN Proxy ke Mikrotik sudah jelas 1Gbit FULL Duplex

Mohon masukannya dari parah sesepuh disini
Jikala ada kesalahan, mohon di koreksi

Terima Kasih
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby q_p » 22 May 2013, 07:13

... jika overload ... apakah Penyebab perangkat ???
Dari yang saya alami, tergantung konfigurasi. Dengan kata lain. lakukan konfigurasi sesuai ketersediaan perangkat (terutama RAM dan HDD). Sekedar masukan, terutama kaitannya dengan gagasan anda menyusun skrip auto-start untuk squid jika crash/down =
  • check squid jalan tdk-nya dengan perintah ps aux |grep squid atau netstat -pln | grep squid.
  • Perhatikan di sana ada PID yang bisa anda jadikan patokan untuk menyusun skrip auto-start jika squid down, seperti yang anda gagas sebelumnya. Jika PID tsb tidak ditemukan, maka /etc/init.d/squid di eksekusi.
  • Cek konsumsi RAM dengan perinta free -m atau top, kalau2 sudah merambah ke SWAP. Biasanya ini titik kritis sebelum squid crash/down.
  • Cek Indicator LED-HDD casing server
  • Rencana ganti Hardware, mobonya usahakan yang mempunyai 4 slot RAM dan masing2 dengan kapasitas maks 8 GB
Segini dulu, sambil berharap ada warga lain yang mau nambahin :)
cmiiw
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 22 May 2013, 11:07

... jika overload ... apakah Penyebab perangkat ???
Dari yang saya alami, tergantung konfigurasi. Dengan kata lain. lakukan konfigurasi sesuai ketersediaan perangkat (terutama RAM dan HDD). Sekedar masukan, terutama kaitannya dengan gagasan anda menyusun skrip auto-start untuk squid jika crash/down =
  • check squid jalan tdk-nya dengan perintah ps aux |grep squid atau netstat -pln | grep squid.
  • Perhatikan di sana ada PID yang bisa anda jadikan patokan untuk menyusun skrip auto-start jika squid down, seperti yang anda gagas sebelumnya. Jika PID tsb tidak ditemukan, maka /etc/init.d/squid di eksekusi.
  • Cek konsumsi RAM dengan perinta free -m atau top, kalau2 sudah merambah ke SWAP. Biasanya ini titik kritis sebelum squid crash/down.
  • Cek Indicator LED-HDD casing server
  • Rencana ganti Hardware, mobonya usahakan yang mempunyai 4 slot RAM dan masing2 dengan kapasitas maks 8 GB
Segini dulu, sambil berharap ada warga lain yang mau nambahin :)
cmiiw
Nambahin Pengetahuan atau menambah dana buat belanja :p

Hehehe

Terima Kasih mas atas masukannya

Ini saya rencana mau install ulang lagi squid nya ... install ulang OS nya sepertinya hal yang mustahil lagi deh. teringat posisi saya di luar kota :(

Jika saya compile dengan config seperti di bawah ini gimana mas ???

Code: Select all

CHOST="x86_64-pc-linux-gnu" CFLAGS="-march=amdfam10 -O2 -pipe" CXXFLAGS="${CFLAGS}" \ ./configure --prefix=/usr --exec-prefix=/usr --bindir=/usr/sbin \ --sbindir=/usr/sbin --libexecdir=/usr/lib/squid --sysconfdir=/etc/squid \ --localstatedir=/var/spool/squid --datadir=/usr/share/squid \ --enable-gnuregex --enable-async-io --with-aufs-threads \ --with-pthreads --with-aio --with-dl --enable-storeio=aufs,null \ --enable-removal-policies="heap,lru" --enable-icmp --enable-delay-pools \ --disable-wccp --enable-snmp --enable-cache-digests --enable-poll\ --enable-default-err-language=English --enable-err-languages=English \ --enable-linux-netfilter --disable-ident-lookups --with-maxfd=65536 \ --enable-follow-x-forwarded-for --enable-large-cache-files \ --with-large-files --enable-truncate --disable-unlinkd --enable-referer-log
Untuk --enable-async-io saya hilangkan =24 apakah berpengaruh ???
serta --with-aufs-threads saya hilangkan juga =24

Soalnya, tadi tengah malam oprek oprek dapat beginian neh mas ...
sekedar masukan juga buat warga-warga yang masuk newbie seperti saya
[color:#3366FF]TUTORIAL Compile squid serta sedikit Penjelasan[/color]

Soalnya, di link tersebut, tidak di jelaskan fungsi =24 nya Mas ...

Jika --enable-async-io=24 <<< pengertian =24 nya mas ???

Thanks telah merepotkan
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby q_p » 22 May 2013, 18:36

...
Untuk --enable-async-io saya hilangkan =24 apakah berpengaruh ???
serta --with-aufs-threads saya hilangkan juga =24
...
Sebenarnya gak usah jauh2 ke link tsb untuk melihat semua opsi yang bisa digunakan untuk melakukan konfigurasi, cukup dengan perintah =

Code: Select all

./configure --help
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 23 May 2013, 14:37


Sebenarnya gak usah jauh2 ke link tsb untuk melihat semua opsi yang bisa digunakan untuk melakukan konfigurasi, cukup dengan perintah =

Code: Select all

./configure --help

./configure --help <<< Kepanjangan Mas ... gk tau cara mempause kan nya
masih awam :p

akhirnya saya compile dengan seperti ini

Code: Select all

'--prefix=/usr' '--exec-prefix=/usr' '--bindir=/usr/sbin' '--sbindir=/usr/sbin' '--libexecdir=/usr/lib/squid' / '--sysconfdir=/etc/squid' '--localstatedir=/var/spool/squid' '--datadir=/usr/share/squid' '--enable-gnuregex' / '--enable-async-io' '--with-aufs-threads=24' '--with-pthreads' '--with-aio' '--with-dl' / '--enable-storeio=aufs,null' '--enable-removal-policies=heap,lru' '--enable-icmp' '--enable-delay-pools' / '--disable-wccp' '--enable-snmp' '--enable-cache-digests' '--enable-poll' '--enable-default-err-language=English' / '--enable-err-languages=English' '--enable-linux-netfilter' '--disable-ident-lookups' '--with-maxfd=65536' / '--enable-follow-x-forwarded-for' '--enable-large-cache-files' '--with-large-files' '--enable-truncate' / '--disable-unlinkd' '--enable-referer-log' 'CFLAGS=-march=amdfam10 -O2 -pipe'
dan untuk system access.log seperti yang Mas sarankan

cache_access_log /dev/null
cache_store_log none
cache_log none
referer_log /var/log/squid/referer.log


untuk referer log masih saya pergunakan karna mau cache youtube

Akan tetapi, jika saya perhatikan, kenapa system cache nya masih gk gitu sempurna yah untuk Output nya mas ???

Apakah Cache.log berpengaruh ???
Jika access.log hanya untuk melihat data yang sedang di akses oleh client (jika tidak salah)

dan untuk tune.conf nya apakah berpengaruh juga ???
saya menggunakan tune.conf seperti ini

Code: Select all

global_internal_static off max_stale 10 years retry_on_error on buffered_logs on read_ahead_gap 32 KB header_access Accept-Encoding deny all client_persistent_connections off server_persistent_connections on half_closed_clients off strip_query_terms off quick_abort_min 0 KB quick_abort_max 0 KB quick_abort_pct 100 vary_ignore_expire on reload_into_ims on pipeline_prefetch on read_timeout 30 minutes client_lifetime 6 hours negative_ttl 30 seconds positive_dns_ttl 6 hours negative_dns_ttl 60 seconds pconn_timeout 15 seconds request_timeout 1 minute store_avg_object_size 13 KB log_icp_queries off ipcache_size 16384 ipcache_low 98 ipcache_high 99 log_fqdn off fqdncache_size 16384 memory_pools off forwarded_for on client_db off max_filedescriptors 65536
Mohon bantuan para sesepuh untuk mengoreksi jika ada yang salah

Terima Kasih
User avatar
sipelaut
Posts: 1965
Joined: 03 Jan 2010, 17:25
Location: madura-sampang
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby sipelaut » 23 May 2013, 16:18

[quote=Pragola_Pati]Men-disable beberapa log agar squid tdk melakukan logging dilakukan bukan dengan memberikan tanda pagar. Pengaturan di squid.conf dikenal dengan istilah deklarasi.
[*]Jika satu atau beberapa tag squid tidak di-kelarasai-kan, squid akan menggunakan tag tsb dengan nilai default. Dengan memberikan tanda pagar, squid mengartikan = "bukan disuruh men-disable, tetapi disuruh menggunakan nilai default"
[*]Kaitannya dengan logging tsb, jika kita ingin agar squid tdk melakukan pencatatan log, bisa anda gunakan opsi /dev/null
Misalnya

Code: Select all

cache_log /dev/null [/quote] beghh ane baru ngerti ternyata ngasih tanda pagar "#" haram hukumnya klo gitu mending ane hilangin ajalah teng's masbro infonya.... baru ngehhh
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby q_p » 23 May 2013, 17:03

@GongLang
  • Untuk meringkan beban kerja squid, log2 yang tidak kita perlukan bisa di-disable. Sedangkan yang kita perlukan, biarkan squid mencatat log. Jadi tidak semua di-disable.
  • Jika kepanjangan bisa anda lakukan dengan perintah =

    Code: Select all

    ./configure --help > configure.txt
    File outputnya yaitu configure.txt bisa anda download dengan winSCP. Lalu anda buka dengan WordPad atau TextEditor (Ubuntu)
  • tag-tag squid yang masuk dalam kategori tuning bisa langsung anda pelajari di Squid configuration directives
  • Sebaiknya kita kembali fokus ke topik sesuai judul trit anda. Mending anda bikin trit baru di luar topik ini. Jika trit ini anda nilai sudah terjawab, tolong beri tanda SOLVED untuk membantu admin (juga warga FUI lainya) melakukan indexing/searching.
@SiPelaut
:)
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 23 May 2013, 21:24

[quote=sipelaut][quote=Pragola_Pati]Men-disable beberapa log agar squid tdk melakukan logging dilakukan bukan dengan memberikan tanda pagar. Pengaturan di squid.conf dikenal dengan istilah deklarasi.
[*]Jika satu atau beberapa tag squid tidak di-kelarasai-kan, squid akan menggunakan tag tsb dengan nilai default. Dengan memberikan tanda pagar, squid mengartikan = "bukan disuruh men-disable, tetapi disuruh menggunakan nilai default"
[*]Kaitannya dengan logging tsb, jika kita ingin agar squid tdk melakukan pencatatan log, bisa anda gunakan opsi /dev/null
Misalnya

Code: Select all

cache_log /dev/null [/quote] beghh ane baru ngerti ternyata ngasih tanda pagar "#" haram hukumnya klo gitu mending ane hilangin ajalah teng's masbro infonya.... baru ngehhh [/quote] Iyah neh Mass ... tak kirain hilangin kress "#" itu berarti disable ternyata back to default -_- Berkat mas Pragola_Pati neh ... ane jadi mengerti fungsi Kress "#" sebenarnya di squid. sehingga, malas mengeti lagi, saya buatkan backup jikalau akan di pergunakan suatu saat [code] #cache_access_log /var/log/squid/access.log cache_access_log /dev/null cache_log none cache_store_log none referer_log /var/log/squid/referer.log
dimana cache_access_log bisa akan bekerja sesuai perintah dimana biasanya dia menyimpan atau bekerja jika saya hilangkan tanda Kress nya "#" dan agar squid tidak bingung, cache yang seharusnya tidak tertulis, akan di simpan command nya dulu buat sementara :p

cmiiw



Hmm ... untuk melihat squid bermasalah mati todal ... apakah ada di system cache.log mas @Pragola_Pati ???
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 23 May 2013, 22:40

Code: Select all

root@BestCom:/home/csper# ls -lah /var/log/squid/ total 2.5G drwxr-xr-x 2 proxy proxy 4.0K 2013-05-22 11:51 . drwxr-xr-x 11 root root 4.0K 2013-05-23 21:29 .. -rw-r----- 1 proxy proxy 546K 2013-05-22 11:59 access.log -rw-r----- 1 proxy proxy 3.7K 2013-05-22 11:35 cache.log -rw-r----- 1 proxy proxy 2.5G 2013-05-23 22:37 referer.log -rw-r----- 1 proxy proxy 0 2013-05-22 11:20 store.log
kumat lagi mas Proxy nya -_-

apakah karna referer log nya terlalu gede ???

Code: Select all

root@BestCom:/home/csper# df -H Filesystem Size Used Avail Use% Mounted on /dev/sda5 40G 4.9G 33G 14% / udev 2.0G 4.1k 2.0G 1% /dev tmpfs 778M 312k 778M 1% /run none 5.3M 0 5.3M 0% /run/lock none 2.0G 0 2.0G 0% /run/shm /dev/sda1 1.1G 83M 945M 9% /boot /dev/sdb5 101G 23G 75G 24% /cache01 /dev/sdb6 100G 24G 74G 25% /cache02 /dev/sdb7 100G 23G 75G 24% /cache03 /dev/sdb8 100G 23G 75G 24% /cache04 /dev/sdb9 101G 23G 75G 24% /cache05 /dev/sdc5 101G 24G 74G 25% /cache06 /dev/sdc6 100G 24G 74G 24% /cache07 /dev/sdc7 100G 23G 75G 24% /cache08 /dev/sdc8 100G 24G 74G 24% /cache09 /dev/sdc9 101G 23G 74G 24% /cache10 /dev/sda7 91G 3.3M 89G 1% /cache21 /dev/sda8 90G 3.3M 88G 1% /cache22 /dev/sda9 90G 3.3M 88G 1% /cache23
space nya buat partition root masih banyak ...
salah dimana yah ...
untuk mengecheck squid tiba-tiba mati itu biasanya dimana yah mas ... ???


dan saat squid bekerja, ada kesalahan dimana yah ???

Code: Select all

4% user, 7% kernel, 89% IO, 0% idle
Thanks
Last edited by GongLang on 27 Feb 2016, 22:04, edited 1 time in total.
Reason: melengkapi data
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby q_p » 24 May 2013, 11:38

Sudah saya sarankan =
...
Cek konsumsi RAM dengan perinta free -m atau top, kalau2 sudah merambah ke SWAP. Biasanya ini titik kritis sebelum squid crash/down.
...
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 24 May 2013, 17:47

Maaf Mas ... Gak nampak akibat sudah bingung -_-

Sorry ...

Code: Select all

top - 17:46:10 up 24 min, 1 user, load average: 1.52, 2.49, 4.15 Tasks: 291 total, 1 running, 290 sleeping, 0 stopped, 0 zombie Cpu(s): 12.8%us, 28.3%sy, 0.0%ni, 24.2%id, 29.7%wa, 0.0%hi, 5.0%si, 0.0%st Mem: 3798324k total, 3613800k used, 184524k free, 9556k buffers Swap: 7811068k total, 276k used, 7810792k free, 3054900k cached PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 1990 proxy 20 0 267m 220m 1748 S 78 5.9 14:09.78 squid 3 root 20 0 0 0 0 S 0 0.0 0:01.63 ksoftirqd/0 1235 root 20 0 20056 1672 1272 S 0 0.0 0:01.01 failover-proxy 1560 root 20 0 0 0 0 S 0 0.0 0:00.28 btrfs-worker-2 1566 root 20 0 0 0 0 S 0 0.0 0:00.50 btrfs-worker-1 1571 root 20 0 0 0 0 S 0 0.0 0:00.45 btrfs-worker-3 1578 root 20 0 0 0 0 S 0 0.0 0:00.67 btrfs-worker-1 1991 proxy 20 0 20056 3020 1784 S 0 0.1 0:05.38 storeurl.pl 2258 root 20 0 0 0 0 S 0 0.0 0:00.35 btrfs-endio-wri 2277 root 20 0 0 0 0 S 0 0.0 0:00.38 btrfs-endio-wri 2297 root 20 0 0 0 0 S 0 0.0 0:00.47 btrfs-endio-wri 7731 root 20 0 21608 1484 956 R 0 0.0 0:00.25 top 1 root 20 0 24060 2096 1260 S 0 0.1 0:00.41 init 2 root 20 0 0 0 0 S 0 0.0 0:00.00 kthreadd 6 root RT 0 0 0 0 S 0 0.0 0:00.00 migration/0 7 root RT 0 0 0 0 S 0 0.0 0:00.00 migration/1 9 root 20 0 0 0 0 S 0 0.0 0:00.07 ksoftirqd/1 10 root 20 0 0 0 0 S 0 0.0 0:01.61 kworker/0:1 11 root 0 -20 0 0 0 S 0 0.0 0:00.00 cpuset 12 root 0 -20 0 0 0 S 0 0.0 0:00.00 khelper 13 root 0 -20 0 0 0 S 0 0.0 0:00.00 netns 15 root 20 0 0 0 0 S 0 0.0 0:00.00 sync_supers 16 root 20 0 0 0 0 S 0 0.0 0:00.00 bdi-default 17 root 0 -20 0 0 0 S 0 0.0 0:00.00 kintegrityd 18 root 0 -20 0 0 0 S 0 0.0 0:00.00 kblockd 19 root 0 -20 0 0 0 S 0 0.0 0:00.00 ata_sff 20 root 20 0 0 0 0 S 0 0.0 0:00.00 khubd 21 root 0 -20 0 0 0 S 0 0.0 0:00.00 md 22 root 20 0 0 0 0 S 0 0.0 0:00.09 kworker/1:1 23 root 20 0 0 0 0 S 0 0.0 0:00.00 khungtaskd 24 root 20 0 0 0 0 S 0 0.0 0:00.27 kswapd0 25 root 25 5 0 0 0 S 0 0.0 0:00.00 ksmd 26 root 39 19 0 0 0 S 0 0.0 0:00.00 khugepaged 27 root 20 0 0 0 0 S 0 0.0 0:00.02 fsnotify_mark 28 root 20 0 0 0 0 S 0 0.0 0:00.00 ecryptfs-kthrea 29 root 0 -20 0 0 0 S 0 0.0 0:00.00 crypto 37 root 0 -20 0 0 0 S 0 0.0 0:00.00 kthrotld 236 root 20 0 0 0 0 S 0 0.0 0:00.00 scsi_eh_0 239 root 20 0 0 0 0 S 0 0.0 0:00.00 scsi_eh_1 241 root 20 0 0 0 0 S 0 0.0 0:00.00 kworker/u:2 244 root 20 0 0 0 0 S 0 0.0 0:00.00 scsi_eh_2 246 root 20 0 0 0 0 S 0 0.0 0:00.00 scsi_eh_3 247 root 20 0 0 0 0 S 0 0.0 0:00.00 kworker/u:3 250 root 20 0 0 0 0 S 0 0.0 0:00.00 kworker/0:2 277 root 20 0 0 0 0 S 0 0.0 0:00.00 kworker/1:2 320 root 20 0 0 0 0 S 0 0.0 0:00.04 jbd2/sda5-8 321 root 0 -20 0 0 0 S 0 0.0 0:00.00 ext4-dio-unwrit 380 root 20 0 17116 640 444 S 0 0.0 0:00.04 upstart-udev-br 384 root 20 0 21716 1552 768 S 0 0.0 0:00.03 udevd 501 root 20 0 21596 1048 320 S 0 0.0 0:00.00 udevd 524 root 0 -20 0 0 0 S 0 0.0 0:00.00 edac-poller 536 root 20 0 21596 1048 320 S 0 0.0 0:00.00 udevd 627 root 20 0 15068 380 196 S 0 0.0 0:00.00 upstart-socket- 652 root 20 0 0 0 0 S 0 0.0 0:00.00 rc0 711 root 0 -20 0 0 0 S 0 0.0 0:00.00 ttm_swap 735 root 20 0 0 0 0 S 0 0.0 0:00.00 jbd2/sda1-8
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby q_p » 24 May 2013, 18:16

Nah itu sudah kelihatan merambah ke SWAP =

Code: Select all

Swap: 7811068k total, 276k used, 7810792k free, 3054900k cached
  • Itu tandanya squid anda tidak sehat
  • Total volume fisik RAM kekecilan
  • Total vulume dir_cache kebesaran
Saya tawarkan serangkaian solusi =
  • Kurangi dir_cache
  • Tambah RAM
  • maximum_object_size_in_memory beri nilai 0 sehingga squid langsung menyimpan obyek ke hdd
  • cache_mem beri nilai yang kecil saja, misalnya 8 MB
  • Tambahkan ke dalam file /etc/sysctl.conf (setelah selesai, jalankan sysctl -p)

    Code: Select all

    vm.drop_caches=3
  • Tambahkan ke dalam cron-job (jalankan crontab -e)

    Code: Select all

    @hourly sync && sysctl -w vm.drop_caches=3 && sysctl -w vm.drop_caches=0
Point pertama dan kedua sifatnya permanen, mau tdk mau anda harus melakukkan. Sambil menunggu realisasi tsb, anda bisa mempraktekkan point ke-3 dan seterusnya :)
User avatar
GongLang
Posts: 93
Joined: 20 Jul 2012, 19:55
Location: PematangSiantar
Contact:

Re: [ASK] cache.log, referrer.log, access.log !!!

Postby GongLang » 24 May 2013, 19:16

top ubuntu server

Code: Select all

top - 19:15:20 up 1:54, 1 user, load average: 15.24, 12.56, 10.56 Tasks: 275 total, 2 running, 273 sleeping, 0 stopped, 0 zombie Cpu(s): 12.5%us, 31.2%sy, 0.0%ni, 0.7%id, 50.0%wa, 0.0%hi, 5.6%si, 0.0%st Mem: 3798324k total, 1377528k used, 2420796k free, 7332k buffers Swap: 7811068k total, 4140k used, 7806928k free, 863792k cached PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 1990 proxy 20 0 280m 232m 1584 R 92 6.3 72:00.96 squid 1991 proxy 20 0 20056 2920 1692 S 1 0.1 0:28.95 storeurl.pl 784 root 20 0 0 0 0 S 0 0.0 0:02.42 btrfs-worker-0 1235 root 20 0 20500 1888 1044 S 0 0.0 0:05.04 failover-proxy 1313 root 20 0 0 0 0 S 0 0.0 0:00.84 flush-btrfs-1 1347 root 20 0 0 0 0 S 0 0.0 0:00.77 flush-btrfs-3 2053 root 20 0 0 0 0 S 0 0.0 0:02.69 btrfs-endio-wri 2244 root 20 0 0 0 0 S 0 0.0 0:03.00 btrfs-endio-wri 2834 root 20 0 0 0 0 S 0 0.0 0:03.33 btrfs-endio-met 32460 root 20 0 21608 1484 956 R 0 0.0 0:00.04 top 1 root 20 0 24060 1304 876 S 0 0.0 0:00.42 init 2 root 20 0 0 0 0 S 0 0.0 0:00.00 kthreadd 3 root 20 0 0 0 0 S 0 0.0 0:07.76 ksoftirqd/0 6 root RT 0 0 0 0 S 0 0.0 0:00.00 migration/0 7 root RT 0 0 0 0 S 0 0.0 0:00.00 migration/1 9 root 20 0 0 0 0 S 0 0.0 0:00.33 ksoftirqd/1 10 root 20 0 0 0 0 S 0 0.0 0:03.81 kworker/0:1 11 root 0 -20 0 0 0 S 0 0.0 0:00.00 cpuset 12 root 0 -20 0 0 0 S 0 0.0 0:00.00 khelper 13 root 0 -20 0 0 0 S 0 0.0 0:00.00 netns 15 root 20 0 0 0 0 S 0 0.0 0:00.01 sync_supers 16 root 20 0 0 0 0 S 0 0.0 0:00.00 bdi-default 17 root 0 -20 0 0 0 S 0 0.0 0:00.00 kintegrityd 18 root 0 -20 0 0 0 S 0 0.0 0:00.00 kblockd 19 root 0 -20 0 0 0 S 0 0.0 0:00.00 ata_sff 20 root 20 0 0 0 0 S 0 0.0 0:00.00 khubd 21 root 0 -20 0 0 0 S 0 0.0 0:00.00 md 22 root 20 0 0 0 0 S 0 0.0 0:00.46 kworker/1:1 23 root 20 0 0 0 0 S 0 0.0 0:00.00 khungtaskd 24 root 20 0 0 0 0 S 0 0.0 0:03.99 kswapd0 25 root 25 5 0 0 0 S 0 0.0 0:00.00 ksmd 26 root 39 19 0 0 0 S 0 0.0 0:00.00 khugepaged 27 root 20 0 0 0 0 S 0 0.0 0:00.02 fsnotify_mark 28 root 20 0 0 0 0 S 0 0.0 0:00.00 ecryptfs-kthrea 29 root 0 -20 0 0 0 S 0 0.0 0:00.00 crypto 37 root 0 -20 0 0 0 S 0 0.0 0:00.00 kthrotld 236 root 20 0 0 0 0 S 0 0.0 0:00.00 scsi_eh_0 239 root 20 0 0 0 0 S 0 0.0 0:00.00 scsi_eh_1 241 root 20 0 0 0 0 S 0 0.0 0:00.00 kworker/u:2 244 root 20 0 0 0 0 S 0 0.0 0:00.00 scsi_eh_2 246 root 20 0 0 0 0 S 0 0.0 0:00.00 scsi_eh_3 247 root 20 0 0 0 0 S 0 0.0 0:00.00 kworker/u:3 277 root 20 0 0 0 0 S 0 0.0 0:00.00 kworker/1:2 320 root 20 0 0 0 0 S 0 0.0 0:00.25 jbd2/sda5-8 321 root 0 -20 0 0 0 S 0 0.0 0:00.00 ext4-dio-unwrit 380 root 20 0 17116 168 168 S 0 0.0 0:00.04 upstart-udev-br 384 root 20 0 21716 676 672 S 0 0.0 0:00.03 udevd 501 root 20 0 21596 224 220 S 0 0.0 0:00.00 udevd 524 root 0 -20 0 0 0 S 0 0.0 0:00.00 edac-poller 536 root 20 0 21596 224 220 S 0 0.0 0:00.00 udevd 627 root 20 0 15068 0 0 S 0 0.0 0:00.00 upstart-socket- 652 root 20 0 0 0 0 S 0 0.0 0:00.00 rc0 711 root 0 -20 0 0 0 S 0 0.0 0:00.00 ttm_swap 735 root 20 0 0 0 0 S 0 0.0 0:00.00 jbd2/sda1-8 736 root 0 -20 0 0 0 S 0 0.0 0:00.00 ext4-dio-unwrit 739 root 20 0 0 0 0 S 0 0.0 0:03.92 btrfs-worker-0
[img:center]http://img542.imageshack.us/img542/9916 ... sages4.png[/img]

Who is online

Users browsing this forum: No registered users and 9 guests