Memanfaatkan Robots.txt Untuk Mengamankan PageRank Blog Review, Mungkinkah?

October 15th, 2008  Featured, Paid Review

Salah satu resiko mengikuti program paid review adalah selalu dikejar-kejar Google soal PageRank (PR). Sudah bukan keanehan lagi kalau banyak blog yang dimanfaatkan untuk paid review kehilangan PR-nya menjadi nol. Memang sih Google PR susah ditebak, karena saya pernah nemuin kasus penurunan PR blog ber-PR 3 menjadi nol gara-gara 4 lembar artikel review komersial, dan blog yang PR-nya justru naik drastis walaupun sebagian kontennya merupakan artikel review. Sekedar informasi saja kalau PR blog ini punya PR 3 tanpa naik turun walaupun banyak review saya publikasikan di sini (sekarang sih sudah saya sembunyikan :D ). Kalau benar bahwa paid link insertion sangat mempengaruhi PageRank yang susah ditebak itu, maka perlu dilakukan usaha pencegahan penurunan PR oleh blogger yang hidupnya bergantung dari paid review seperti saya lol

Bagaimana caranya supaya PageRank tidak turun?

Banyak cara yang tidak ada salahnya kalau dicoba, seperti cara Mas Kombor yang menyarankan menggunakan nilai atribut nofollow (rel="nofollow") pada setiap link advertiser (kalau untuk masalah ini tergantung dari masing-masing advertisernya, apakah mereka lebih memilih membeli review atau hanya membeli link dofollow saja). Mas Windra menggunakan rasio 2:1 untuk artikel natural/non review dibanding artikel review (kalau cara ini saya setuju sekali karena dengan begini blog tidak kelihatan sumpek oleh banyaknya artikel review, kecuali artikel reviewnya memang disembunyikan :D ). Nah, cara yang lebih jitu dijelaskan oleh Masenchipz, antara lain tidak menempatkan link advertiser di halaman index, maksudnya adalah dengan tidak menempatkan link di bagian summary atau ringkasan artikel review di halaman awal blog tetapi menempatkannya di bagian rest atau sisa postingan (halaman postingan utuh). Beberapa advertiser pun tidak keberatan kalau link mereka tidak ditempatkan di halaman awal. Cara ini juga pernah saya terapkan dulu sebelum saya menemukan cara untuk menyembunyikan artikel review dari Mas Chodirin.

Ada satu cara lagi dari saya walaupun sebenarnya belum saya coba, tetapi cuma dari pemikiran saya aja: memanfaatkan robots.txt untuk menahan Googlebot menjelajahi artikel review. Jadi prinsip cara ini sebenarnya adalah "menutup pintu masuk" sebuah directory dari suatu blog saat proses crawl atau penjelajahan dijalankan oleh Googlebot. Hal ini bisa dilakukan dengan memanfaatkan fitur pengkustomisasian Permanent Link (Permalink) di blog yang memakai WordPress. Pengaturan Permalink yang tepat untuk hal ini menurut saya adalah ↓

/%category%/%postname%/

Jadi setiap url artikel blog akan menjadi seperti ini → http://www.domain.tld/nama-kategori/judul-postingan. Setelah itu perlu dilakukan pengelompokan artikel paid review ke dalam satu kategori misalnya kategori review. Hasilnya adalah setiap artikel review akan masuk ke dalam direktori yang sama yaitu → http://www.domain.tld/review/. Nah, saat itulah kita bisa memanfaatkan keampuhan dari robots.txt untuk memblokir direktori review tersebut dengan menambahkan perintah disallow berupa ↓

User-agent: Googlebot
Disallow: /review/

Dengan perintah seperti di atas maka Googlebot tidak akan mau menjelajahi isi direktori /review, dengan begitu artikel paid review dalam direktori tersebut tidak akan terindeks di mesin pencari Google :D (kecuali ada situs lain yang nge-link ke halaman tersebut).

Kesimpulannya, ini cuma teori dari saya aja, jadi bila ada yang mempunyai ilmu dan pengalaman lebih tentang paid review, Google, PageRank, robots.txt, Googlebot, dan sebagainya silakan menambahkan atau mengoreksi artikel ini :)

P.S. Untuk keterangan lengkap apa itu robots.txt silakan meluncur ke ↓

Atau artikel bagus mengenai robots.txt ↓

Instant Internet Business Ideas

Related Posts ↓

Rahasia Sukses Paid Review

{81 Comments so far ↓}

  1. fanari said,

    Wrote on October 15, 2008 @ 8:46 pm

    CMIIW pliss.. :matabelo:

  2. izandi said,

    Wrote on October 15, 2008 @ 9:17 pm

    wah bener banget itu mas penggunaan robots.txt
    tapi sayang itu berlaku bagi pengguna permalinks /%category%/ ya?
    saya sudah terlanjur memilih yang plain permalinks

  3. fanari said,

    Wrote on October 15, 2008 @ 9:26 pm

    @izandi: Ya kalau udah terlanjur nggak usah dipaksakan buat ganti permalink mas, ntar PR nya malah turun. Tapi kalau mau aman bisa kok pakai redirect dengan modifikasi file .htaccess cuman saya belum paham caranya :D . Pakai plugin redirect juga lebih gampang tapi saya belum tahu resikonya walaupun dulu udah pernah coba

  4. badoer said,

    Wrote on October 15, 2008 @ 9:33 pm

    mas ajari repiew dunk, xixixi..

  5. baladika said,

    Wrote on October 16, 2008 @ 3:07 am

    Boleh juga tuh idenya bos

  6. Nenad Mohamed said,

    Wrote on October 16, 2008 @ 3:23 am

    Mumpung baru mo belajar paid review…so, informasi ini helpful banget dech :)
    Tengkyu,Bos….

  7. Ronggo said,

    Wrote on October 16, 2008 @ 8:28 am

    mungkin aja brooo

  8. Edi Psw said,

    Wrote on October 16, 2008 @ 9:28 am

    Wah, boleh dicoba nih.
    Biar blog saya yang mempunyai PR 3 ini tidak turun.

  9. Richie Rich said,

    Wrote on October 16, 2008 @ 6:04 pm

    Kalo udah dibuat permalink, ngak bisa ya mas?

  10. kipas said,

    Wrote on October 16, 2008 @ 7:30 pm

    Kira-kira di perbolehkan nggak ama brokernya? sebenarnya paling mudah pakai wordpress plugin kaya mas chodirin.

  11. malapu said,

    Wrote on October 16, 2008 @ 11:08 pm

    hmmm… boleh juga nich tutornya mas… thanks deh siap di ujicobakan di blogku yang khusus review

  12. albri said,

    Wrote on October 17, 2008 @ 1:17 am

    Kayaknya sangat bisa…. ide cerdas ini. jadi ngiri sama wordpress… :)
    “Terima kasih” Infonya

  13. fanari said,

    Wrote on October 17, 2008 @ 10:06 am

    @Richie Rich: tergantung format permalinknya, kalau sama dengan yang saya tulis di atas berarti tinggal ubah robots.txt saja, tapi kalau beda ya pakai redirect 301 di file .htaccess kalau mau
    @kipas: asal nggak ada di ToS-nya mungkin tidak masalah mas :D Oh ya plugin yg dimaksud itu apa mas? apakah plugin buat menyembunyikan postingan paid review kah?
    @malapu: semoga berhasil, tapi saya nggak nanggung akibatnya lo :lol:
    @Nenad Mohamed & albri: sama2 ;)

  14. ipung said,

    Wrote on October 17, 2008 @ 10:57 pm

    @izandi
    kalo uda terlanjur dibuat tanpa folder kategori di WP-nya, ya robot txt-nya bisa diisi alamat artikel reviewnya satu per-satu :)

    Hanya saja.. metode seperti ini biasanya tidak disukai advertiser. Kadang penggunaan trik-trik seperti ini saya takutkan jadi membuat advertiser semakin rewel dalam membuat spesifikasi review. Soalnya, mereka membayar kita karena kemampuan blogging kita, bukan karena kemampuan kita nyembunyiin link dan review mereka dari pembaca dan Google crawler :)

  15. yudi said,

    Wrote on October 18, 2008 @ 6:39 am

    wow bener juga yah, tapi permalinkku /%postname%/ tuh, gimana coba?

    mantep nih, semoga terbukti keampuhannya :-D

  16. Tony said,

    Wrote on October 18, 2008 @ 8:00 am

    aman ga ya?tar di chek advertiser pake google ga keindek gimana ya?

  17. Leni said,

    Wrote on October 18, 2008 @ 10:05 am

    Patut dicoba menggunakan robots.txt untuk memblock robot google mengetahui blog mana yang melakukan review.

    Kalau google ngeluarin penulusuran manual lewat orang atau bukan robots gimana ya ?

    Apa mungkin dia nge-cek segitu dengan jumlah blog yang tidak terbatas di dunia maya ini ?

    hmmmm….

  18. brokethesoul said,

    Wrote on October 18, 2008 @ 12:48 pm

    Artikel menarik, coba dulu ya bos …. tapi nunggu PR naik lagi, habis digebuk ma Om gugel karena ketahuan nakal main review:(

  19. fanari said,

    Wrote on October 18, 2008 @ 2:55 pm

    @ipung: saya sampai kelupaan kalau masukin url review satu2 di robots.txt juga bisa :D
    Bener juga nih kata mas ipung, kalau cara ini dipakai terus ketahuan brokernya bisa bikin aturan yang ketat lagi, pokoknya saya gak nanggung lo ya :D
    tapi kita semua kan nggak mau PR kita diturunin, jadi gmn ni??
    @yudi: pakai caranya mas ipung, walaupun agak repot harus masukin url satu per satu
    @Tony: belum tahu mas, agak beresiko sih, tapi moga2 aja nggak ketahuan :D
    @Leni: hehe ya nggak mungkin lah mbak, emang jumlah karyawan Google ada berapa banyak? :lol:
    @brokethesoul: boleh2 aja mas, tapi saya nggak nanggung kalau ketahuan :D

  20. mig33citeureup said,

    Wrote on October 18, 2008 @ 3:55 pm

    Ilmu baru nich… klo dah di terima baru di praktekin dech :)

  21. emfajar said,

    Wrote on October 18, 2008 @ 4:10 pm

    takutnya kan cara ini ga disukai sama advertisernya,, klo saya lebih ska cara rasio 2:1 atau cara tidak menempatkan link di halaman index..

    tapi klo ada cara yg lebih baik kenapa ga.. hehehe

  22. Anang said,

    Wrote on October 18, 2008 @ 6:32 pm

    weeee ada ilmunya toh ternyata

  23. Panda said,

    Wrote on October 18, 2008 @ 7:15 pm

    salam kenal aja, gag ngudeng sih :(

  24. ika said,

    Wrote on October 18, 2008 @ 8:19 pm

    saya udah cobain tips nya om choridin tapi kok postingan2 review saya tetep muncul.. akhirnya ga jadi.. sayahnya ga oon kali ya,,hehe

  25. okta sihotang said,

    Wrote on October 18, 2008 @ 8:51 pm

    wah….aku ga tw menau neh….
    but nice info…
    mantraaaaaaaaaaaaaaaaaaaaaaaaap (untung PR gw masih OK)

  26. ario saja said,

    Wrote on October 19, 2008 @ 8:30 am

    matur tengkyu infonya bro

  27. edwin said,

    Wrote on October 19, 2008 @ 4:34 pm

    Tips bagus, walo ngga terlalu ngerti, coba ah..

  28. izandi said,

    Wrote on October 19, 2008 @ 10:11 pm

    huaaa..menyedihkan memang, PR jadi tinggal 2 dari 5. hiks..hiks..
    @ipung: saya manut saja sama advertisernya toh, saya ga rugi-rugi amat kalo do-follow
    hihihi :D

  29. rizal akbar said,

    Wrote on October 19, 2008 @ 11:31 pm

    logika emang bener begitu mas, tapi prakteknya nggak tau juga deh…(^_^)..hehe, apalagi saya nggak pake WP juga…hehe..

  30. nugraha said,

    Wrote on October 20, 2008 @ 8:41 am

    Waah… ternyata ilmu perblog-an itu masih luas toh ? Saya belum mengerti, walaupun sepintas sudah beberapa kali membaca tentang paid review. Ternyata ada resikonya juga ya, kehilangan PR kalo melakukan paid review.

  31. Ecko said,

    Wrote on October 20, 2008 @ 1:39 pm

    Yah, buat pemakai WP lagi deh. Kalo saya yg pake Blogger cuma menampilkan judul review saja, jadi seluruh bagian artikel saya letakkan di bawah . Kalo gitu gimana, Kang?

  32. fanari said,

    Wrote on October 20, 2008 @ 3:55 pm

    @emfajar: asal nggak ketahuan aja mungkin nggak masalah :D
    @Anang: ada dong pak, makasi pak anang mau mampir dan komen disini ;)
    @Panda: salam kenal :)
    @ika: kalau saya pake cara manual, tinggal edit functions.php masukin kode php dari mas chodirin. dicoba aja mbak..
    @rizal akbar: ini juga belum saya praktekin kok mas :D
    @nugraha: iya mas, Google nggak suka sama link berbayar
    @Ecko: Blogger juga mungkin aja bisa lho mas, asal pake hostingan sendiri/ diupload via ftp, trus tinggal tambahkan robots.txt trus masukin semua url review. Kalau menurut saya cara yang mas Eko pakai merupakan cara yang paling aman :)

  33. Zalukhu said,

    Wrote on October 20, 2008 @ 4:32 pm

    Wuih lama ga ke sini pangling aku wkwkwkw…. eh ini artikel yang saya cari-cari.. saya save as ya mas.. ntar kalau ga ngerti saya tanyain lho heheheheheh awas kalo ga dijawab

  34. ruben bukan onsu said,

    Wrote on October 20, 2008 @ 6:40 pm

    wahh… ide yg cemerlang bro..
    tapi harus nyari tau dulu gimana caranya membuat robot.txt ini.. :p

  35. bungcip said,

    Wrote on October 20, 2008 @ 7:19 pm

    Tapi, bukankan ada pengiklan yang reviewnya tidak ingin diletakkan ke dalam kategory paid-review (Misal, semua artikel paid review masuk ke kategori sponsored)?
    Trik diatas jadi nggak bisa dipakai dong…
    Soalnya saya naruh artikel berbayarnya di sembarang kategori :)

  36. fanari said,

    Wrote on October 20, 2008 @ 9:00 pm

    @Zalukhu: silakan mas, hehe saya usahakan jawab sejauh yang saya tahu :)
    @ruben bukan onsu: gampang kok mas, tinggal bikin file plain text, masukin parameter2nya, save as robots.txt, upload di directory root domain utama (khusus buat website dengan domain utama, bukan subdirectory)
    @bungcip: itu tergantung pengiklannya kan mas? selama ini saya memasukkan semua review ke dalam satu kategori. Kalau artikelnya ditaruh di sembarang kategori bisa pakai cara mas ipung, yaitu dengan memasukkan satu per satu url review ke dalam robots.txt walaupun agak merepotkan :D

  37. ariwolu said,

    Wrote on October 21, 2008 @ 11:27 am

    Thanks udah mampir ke blogku mas, lam kenal.
    Artikel ini menarik dan dinanti kelanjutannya utk hasil robot nya
    Soale kemaren PR3 ku juga jadi n/a

  38. Wong Ndeso said,

    Wrote on October 21, 2008 @ 11:39 am

    Walaupun belum pernah mengreview, tapi ini wajib di save as….

  39. Benny said,

    Wrote on October 22, 2008 @ 8:13 am

    informasi penuh pencerahan..tambah ilmu lagi nie. thank mas.. :)

  40. Badoer.Com Jadi Aneh Gini..? | Badoer said,

    Wrote on October 22, 2008 @ 11:04 pm

    [...] triknya mas chodirin atau memanfaatkan robot.txt seperti yang ingin direncanakan oleh sobat saya fanari? kira-kira melanggar TOS tidak ya? Soalnya aneh aja Recent Post Badoer.comminggu ini diisi oleh [...]

  41. audy said,

    Wrote on October 23, 2008 @ 9:54 am

    iyaah, yang saya denger dari temen2 kan banyak yang pr nya jadi drop gara2 maen paid review? emang bener ni bisa antisipasi ini? ngelanggar tos ga yaah?

  42. danu said,

    Wrote on October 23, 2008 @ 12:00 pm

    hahaha… mantap, kok baru kepikiran yah, makasih mas

  43. persikers said,

    Wrote on October 23, 2008 @ 1:05 pm

    main apa adanya aja, kalo di turunin PRnya ya udah resiko mas toh hasilnya bisa buat beli domain ber PR lagi (kalo aku loh) : Peace :

  44. Keris said,

    Wrote on October 23, 2008 @ 8:28 pm

    Mas … ajari saya garap PR ini yah :) lihat blog saya

  45. Edi Psw said,

    Wrote on October 25, 2008 @ 12:06 pm

    Menarik artikelnya.

  46. albri said,

    Wrote on October 29, 2008 @ 5:53 am

    Aku kayaknya pernah komen di artikel ini dan bilang kayaknya bisa. Tapi kalau dihadang pake robot kan ga diindex terus apa mau yang bayar kalo ga dianggap link?

  47. fanari said,

    Wrote on October 30, 2008 @ 4:09 pm

    @ariwolu: belum berani nyoba nih :D
    @audy: sejauh yang saya tahu tidak ada ToS yang menyebutkan penggunaan robots.txt ini di broker PTR seperti Blogsvertise
    @persikers: ntar kalau saya udah punya modal banyak juga mau beli domain ber-PR buat mainan review :D
    @albri: kalau mereka tahu ya mungkin aja nggak mau membayar, tapi saya nggak menyarankan cara di atas lo pak, soalnya kasihan kan pengiklan yang sudah bayar kita?

  48. danasimpleman said,

    Wrote on October 30, 2008 @ 5:35 pm

    wah mas, kalo artikel paid review jadi ga terindex oleh google, apa advertiser nya ga akan mengeluh?? Kan artikel kita dibayar buat terindex di google….

  49. septian said,

    Wrote on November 6, 2008 @ 9:06 pm

    maap nih, agak oot dikid, tapi masih ada hubungannya. cara perbaikin url restricted by robot.txt gmana yah? ada yg tahu? yg di google webmaster.

  50. fanari said,

    Wrote on November 6, 2008 @ 10:03 pm

    @danasimpleman: mungkin aja mas, tapi sejauh yang saya tahu nggak melanggar ToS, tapi bukan berarti saya menyarankan pakai cara ini :)
    @septian: setahu saya itu karena directory url-nya diblokir sama file robots.txt-nya, coba dicek dan diedit robots.txt-nya

  51. abbie said,

    Wrote on November 6, 2008 @ 11:08 pm

    Salam kenal ( lg ) mas :D

    Infonya penting bgt nih bt newbie kyk sy yg lg nyoba2 PTR.
    Makasih ya..

  52. blogdanseo said,

    Wrote on November 7, 2008 @ 4:33 pm

    oh bisa y? g pernah kepikiran tuh mas, maklum emang belum nyoba paid review c,, hehehe…

  53. Vandy said,

    Wrote on November 9, 2008 @ 3:21 pm

    emang gapapa tuh ama brokernya??
    coba banyangin kalo kita yg jadi advertiser dan mendapat perlakuan gitu, apa gak pegel tuh?

  54. noufalz said,

    Wrote on November 15, 2008 @ 9:07 pm

    wah patut di coba mas..semua blog saya kena gebuk PR 0 ma google

  55. pak belalang said,

    Wrote on November 19, 2008 @ 4:39 pm

    bagus mas penjelasannya, patut dicoba
    thx

  56. Cahyo said,

    Wrote on November 20, 2008 @ 10:10 pm

    menarik jg nich . . . :)
    perlu dicoba

  57. Nemes said,

    Wrote on December 4, 2008 @ 11:10 am

    Patut dicoba nih trik bgs . PR sbg sumber dollar, klo turun., tamat deh

  58. Busby SEO Test said,

    Wrote on December 9, 2008 @ 12:07 pm

    yg robot.txt belom dah dicoba nih bro.. tinggal nunggu resultnya aja.. mudah2 bisa bikin kuat blog2 gw dari jitakan om gugel.. he..he..
    maav sekalian numpang majang url busby.. he..he..
    btw mantab tipsnya bro…

  59. rudy said,

    Wrote on December 26, 2008 @ 8:15 pm

    Artikel, ulasan, dan solusinya menarik banget. Apalagi kalau hasilnya juga memuaskan.

    Yg terpenting, banyak jalan menuju ke Roma, Bro’ :D

  60. adi said,

    Wrote on January 19, 2009 @ 12:49 am

    Wah kebetulan bgt ni,,
    blog review ku barusan di tendang sama si mbah google……

    Kira – kira bisa naik lagi gak ya PR nya kalo udah terlanjur di banded gini???

  61. Riza Rohman said,

    Wrote on January 27, 2009 @ 4:08 am

    Walah walah…orang Indonesia emang pinter pinter ya. Salut deh…ini ilmu baru buat aku, cuman aku belum pernah ikut program paid review sih…:) Sekali lagi trims info trick nya

  62. facebook said,

    Wrote on March 11, 2009 @ 9:51 pm

    mantab boz tipsnya

  63. burukutuk said,

    Wrote on April 2, 2009 @ 11:31 pm

    Wah, boleh juga triknya.

  64. arton said,

    Wrote on April 20, 2009 @ 10:42 pm

    kalo untuk blogger tipsnya gimana bos…? lam kenal yah

  65. Robertfel said,

    Wrote on April 23, 2009 @ 4:37 am

    saya baru tau ada ilmunya. Boleh juga ni diterapkan :D

  66. hendri susanto said,

    Wrote on April 27, 2009 @ 10:28 pm

    wah bingung nih, apa lagi kalau aku gak pakai wordpress, masih html biasa gimana ya? ini lagi latihan aja pakai gratisan, bingung-bingung…tolong. thanks mas atas informasi nya. salam kenal dan sukses selalu

  67. aldrik said,

    Wrote on May 23, 2009 @ 2:42 am

    wah gue telat nih komennya tapi gak papa . .

    PAid review emang musuh besar google .. sapex deh

  68. Blogwalking for Unity said,

    Wrote on May 24, 2009 @ 6:06 pm

    Sayang aku masih pake Blogspot, tak simpen dulu ilmunya…blum bisa praktek.

    Tengkyu

    PS:
    Blogwalking for Unity

  69. Rimbow said,

    Wrote on July 5, 2009 @ 5:11 pm

    Bermanfaat sekali infonya bole nih di coba.

  70. deforex said,

    Wrote on July 27, 2009 @ 10:13 pm

    Benarrrrrrr….. link review mengancam keselamatan PR, be carefull…

  71. akuajadeh said,

    Wrote on July 28, 2009 @ 6:26 am

    Blogku ini pernah dari PR 2 sekarang 0 , tedakkkkkkkkkkkkkkkkkkkkkkkkkkk………………

  72. PAHLAWAN BERTOPENG said,

    Wrote on September 14, 2009 @ 4:02 pm

    bingung aku masalah robot-robotan, gimana ya cara menghapus halaman yang sudah terindex google dengan robots.txt

  73. kang badot said,

    Wrote on September 17, 2009 @ 9:18 am

    hahaha….bener-bener jenius, makasih tipsnya nih langsung saya praktek deh

  74. Khairuddin syach said,

    Wrote on September 23, 2009 @ 9:50 pm

    gimana hasilnya sob, apa udah maknyuss??

  75. wptemplate said,

    Wrote on November 27, 2009 @ 10:00 pm

    Ini cocok banget buat yng bergulat di dunia paid review ya !

    Oh ya bozzz…., kalau sistem permalink kita udah terlanjur di setting /%postname%.html gimana bos…?

    apakah tdk mengganggu dari crawl sebelumnya?

    Bth, web ai lum trindex nih, gmn solusinya?

  76. mediajogja.com said,

    Wrote on December 26, 2009 @ 1:42 am

    wah makasih banget mas..
    ini yang aku cari dari dulu..

  77. Jo said,

    Wrote on January 18, 2010 @ 12:03 pm

    thx mas atas infonya…sngt bguna bg blogger br kyk gw neh

  78. mohmad said,

    Wrote on January 18, 2010 @ 12:36 pm

    thx bro

  79. josh said,

    Wrote on February 15, 2010 @ 4:45 am

    berbekal dari artikel Mas Fanari saya coba di blog saya

    Maturnuwon Sanget

  80. ganool said,

    Wrote on February 23, 2010 @ 6:51 am

    emang Google PR gak bisa ditebak,,,
    mungkin mereka ngawur yah pas ngasih PR..heheh

    salam kenal dari ganool Download Film dan Game Gratis

  81. sauke said,

    Wrote on March 9, 2010 @ 4:24 am

    Thank’s yaaaa

Comment RSS · TrackBack URI

Leave a Comment ↓

Name

E-mail

Website