Dari Mana Sebenarnya Ide "AI yang Bisa Baca Website" Ini Muncul?
Coba bayangin skenario ini. Kamu lagi riset kompetitor, ada belasan halaman website yang harus kamu baca satu satu buat ngerti produk mereka, harga, sama fitur unggulannya. Kalau dikerjain manual, bisa makan waktu berjam jam cuma buat baca dan nyatet poin poin pentingnya.
Sekarang bayangin kalau proses itu bisa dipangkas jadi, kamu kasih link website-nya, terus dalam beberapa detik udah dapet ringkasan rapi tentang apa isi website itu. Ini bukan fitur ajaib yang cuma ada di produk mahal, ini sebenarnya kombinasi dari dua hal sederhana yang udah kita bahas sebelumnya, kemampuan ambil konten dari halaman web, digabung sama kemampuan AI buat merangkum teks panjang jadi singkat.
Langkah Pertama: Gimana Caranya "Ambil" Isi Sebuah Website?
Sebelum AI bisa ngerangkum apapun, dia butuh bahan mentah dulu, yaitu teks yang ada di halaman website tersebut. Proses ngambil konten dari halaman web ini disebut web scraping.
Cara kerjanya secara garis besar begini. Ada permintaan yang dikirim ke alamat website tersebut, mirip kayak waktu kamu buka website lewat browser, cuma bedanya ini dilakukan lewat kode, bukan manual klik klik. Setelah dapet balasan dari server website itu, yang biasanya berbentuk kode HTML mentah (kode yang biasanya nggak enak dibaca manusia karena penuh tanda kurung sudut dan istilah teknis), ada alat lain yang tugasnya "membersihkan" kode itu, misahin mana yang teks beneran yang mau dibaca manusia, dan mana yang cuma kode struktur tampilan yang nggak penting buat diringkas.
Alat yang biasa dipakai buat proses "membersihkan" ini salah satunya bernama BeautifulSoup, yang kerjanya kayak asisten yang nyortir tumpukan kertas berantakan, terus cuma ngasih kamu bagian bagian yang beneran isinya teks bacaan, bukan kode pembungkusnya.
Ternyata Nggak Semua Website Segampang Itu Dibaca
Nah ini bagian yang sering bikin kaget orang yang baru coba coba bikin tools kayak gini. Cara sederhana tadi cukup ampuh buat website website yang strukturnya "klasik", di mana konten teksnya emang udah ada langsung di kode HTML pas halaman itu dimuat.
Tapi banyak website modern sekarang dibangun dengan cara yang berbeda, kontennya nggak langsung ada di kode HTML awal, melainkan baru "dimunculkan" belakangan lewat proses tambahan yang jalan di browser, biasanya pakai teknologi semacam React atau sejenisnya. Buat website tipe ini, cara sederhana tadi bisa gagal total, soalnya pas kode dibaca, teks yang mau diambil belum benar benar "muncul" di situ.
Buat kasus kayak gini, dibutuhkan pendekatan yang lebih canggih, pakai alat semacam Selenium atau Playwright, yang cara kerjanya beneran "membuka" halaman itu kayak browser sungguhan, nunggu semua konten selesai dimuat, baru abis itu ambil teksnya. Ini butuh sumber daya lebih besar dan agak lebih rumit dibanding cara sederhana tadi, tapi diperlukan buat website website yang emang dibangun dengan cara modern kayak gitu.
Poin pentingnya di sini, kalau kamu nawarin fitur "AI yang bisa baca website apapun" ke klien, penting buat sadar bahwa nggak semua website itu "gampang" dibaca dengan cara yang sama, dan ini bisa ngefek ke seberapa rumit dan berapa lama waktu pengerjaan yang dibutuhkan.
Langkah Kedua: Ngasih Konteks yang Jelas ke AI
Setelah teks berhasil diambil dari halaman website, langkah berikutnya adalah nyusun instruksi yang jelas buat AI, biar hasil ringkasannya beneran berguna, bukan cuma asal potong sebagian kalimat.
Di sinilah pemahaman soal anatomi prompt jadi kepake. Biasanya ada dua bagian, system prompt, yang isinya instruksi soal gimana AI harus berperilaku dan format apa yang diharapkan, misalnya "kamu adalah asisten yang meringkas konten website jadi poin poin singkat dan jelas, abaikan bagian navigasi atau iklan", dan user prompt, yang isinya teks mentah hasil scraping tadi, yang mau diringkas.
Kualitas instruksi di system prompt ini ternyata ngaruh banget ke hasil akhirnya. Instruksi yang cuma bilang "ringkas ini" bakal ngasih hasil yang jauh lebih generik dibanding instruksi yang lebih spesifik, misalnya minta AI fokus ke informasi produk dan harga, sambil ngabaikan bagian bagian yang nggak relevan kayak menu navigasi atau footer yang isinya cuma alamat dan link sosial media.
Studi Kasus: Website Summarizer sampai Company Brochure Generator
Kombinasi dua langkah di atas, ambil konten dan minta AI ringkas, itu sendiri udah cukup buat bikin tools "Website Summarizer" yang berguna. Tapi ternyata ide ini bisa dikembangin lebih jauh lagi jadi sesuatu yang lebih canggih, yang biasa disebut alur kerja bertahap, atau istilah kerennya multi-step pipeline.
Contohnya begini. Bayangin kamu mau bikin tools yang otomatis nyusun profil perusahaan lengkap cukup dari satu alamat website utama perusahaan itu. Alurnya bisa dipecah jadi beberapa langkah berurutan:
Langkah satu, ambil konten dari halaman utama website, sekalian ambil semua link yang ada di halaman itu.
Langkah dua, daripada langsung asal buka semua link yang ketemu (yang bisa aja isinya cuma link ke syarat dan ketentuan atau kebijakan privasi yang nggak penting), minta AI buat milihin dulu link mana aja yang kelihatannya relevan, misalnya link ke halaman "tentang kami", halaman produk, atau halaman karir. Di sini AI diminta ngasih jawaban dalam format terstruktur yang gampang diproses program, bukan sekadar teks bebas, biar hasil pilihannya bisa langsung dipakai di langkah berikutnya secara otomatis.
Langkah tiga, ambil konten dari link link yang udah dipilih tadi satu per satu.
Langkah empat, gabungin semua konten yang udah terkumpul, terus minta AI nyusun jadi satu dokumen profil perusahaan yang rapi dan komprehensif.
Ini contoh bagus soal gimana beberapa panggilan AI yang sederhana, kalau disusun berurutan dengan alur yang jelas, bisa menghasilkan sesuatu yang jauh lebih kompleks dan berguna dibanding satu panggilan tunggal. Ini juga jadi fondasi awal buat konsep yang lebih besar lagi, yaitu AI agent, yang bakal disinggung lebih jauh di Part 5.
Kenapa Ini Berguna Banget Buat Kamu yang Jalanin Agency
Tools semacam ini punya banyak potensi jadi produk kecil yang bisa langsung ditawarin ke klien, dan nggak butuh waktu pengembangan yang lama. Beberapa contoh use case nyata:
Riset kompetitor otomatis, klien tinggal masukin daftar link kompetitor, sistem otomatis ambil dan ringkas informasi produk, harga, dan fitur unggulan mereka, tanpa harus baca manual satu satu.
Pembuatan draft konten awal, misalnya draft profil perusahaan atau deskripsi produk, yang diambil dari konten website yang udah ada, terus disusun ulang jadi format lain yang dibutuhkan.
Monitoring perubahan konten, versi yang lebih lanjut bisa dipakai buat ngecek berkala apakah ada perubahan penting di website kompetitor atau partner bisnis, terus otomatis ngasih ringkasan perubahannya.
Yang bikin ini menarik buat ditawarin sebagai jasa, biayanya relatif terjangkau buat dibangun (karena secara teknis nggak terlalu rumit dibanding fitur AI yang lain), tapi manfaat yang dirasain klien cukup nyata karena beneran ngehemat waktu kerja manual mereka.
Yang Perlu Diingat
- Web scraping adalah proses ngambil dan membersihkan konten teks dari sebuah halaman website, biasanya pakai alat seperti BeautifulSoup
- Website modern yang kontennya dimuat lewat proses tambahan di browser (seperti React) butuh alat yang lebih canggih seperti Selenium atau Playwright buat bisa diambil kontennya
- Kualitas instruksi di system prompt sangat menentukan seberapa berguna hasil ringkasan yang dihasilkan AI
- Beberapa panggilan AI sederhana yang disusun berurutan (multi-step pipeline) bisa menghasilkan sesuatu yang jauh lebih kompleks, seperti generator profil perusahaan otomatis
- Tools semacam ini relatif murah dibangun tapi manfaatnya nyata, cocok jadi produk atau jasa awal yang bisa ditawarkan ke klien
Lanjut ke Part 5
Di part terakhir series ini, kita bakal ambil satu langkah lebih jauh dari sekadar "AI yang ngerjain satu tugas dalam satu alur tetap". Kita bakal bahas gimana konsep menyusun beberapa langkah berurutan tadi jadi cikal bakal dari sesuatu yang lebih besar dan lagi ramai dibicarakan, yaitu AI agent, entitas AI yang bisa "mikir" langkah apa yang perlu diambil selanjutnya, bukan cuma ngikutin alur yang udah ditentuin dari awal.
Bagian dari series "Cara Kerja AI di Balik Layar". Ditulis buat siapa pun yang mau paham AI tanpa harus jadi engineer dulu.
