SupportSense AI — Enterprise-Grade Autonomous Customer Support Engine (Hybrid RAG + Relational KAG)

SupportSense AI adalah platform asisten layanan pelanggan (AI customer support engine) berbasis kecerdasan buatan otonom berstandar enterprise yang dirancang khusus untuk memodernisasi tata kelola operasional customer support, e-commerce, dan logistik pergudangan. Platform ini memadukan dua paradigma penalaran cerdas sekaligus: Knowledge-Augmented Generation (KAG) berbasis database relasional SQL terstruktur (PostgreSQL 16) untuk data transaksional, serta Retrieval-Augmented Generation (RAG) berbasis vektor dense (ChromaDB) dengan Cross-Encoder Reranker untuk dokumen regulasi dan klausul kebijakan perusahaan.

Sistem ini bekerja layaknya pusat komando operasional (support command center) terintegrasi: operator manusia dapat memantau percakapan pelanggan secara real-time, meninjau pohon keputusan rute (semantic routing) yang diambil oleh mesin perutean otonom, mengaudit bukti data faktual (Grounding Audit Drawer) di balik setiap jawaban AI, serta memantau kesehatan kluster infrastruktur (48 node graf PostgreSQL, 47 relasi data, dan 14 vektor regulasi) melalui modal telemetri langsung. Di sisi pelanggan, platform menyajikan pengalaman percakapan alami dengan latensi sub-detik, ingatan konteks pesanan multi-turn yang persisten, pengetikan respons bertahap (progressive word streaming), dan aksesibilitas responsif di perangkat desktop maupun seluler.

Proyek ini berfokus pada penghapusan total risiko halusinasi AI (zero hallucination) melalui pemisahan tegas antara data faktual transaksional dan dokumen kebijakan, efisiensi biaya inferensi melalui penyaringan semantik berkecepatan tinggi (Direct Route <5ms), keandalan sistem berstandar perbankan (Circuit Breaker Pattern dengan status Closed, Open, dan Half-Open), mitigasi risiko pelanggaran keamanan (prompt injection defense), serta penyerahan tiket otomatis ke agen manusia (Human-in-the-Loop) melalui integrasi webhook otomasi n8n.

---

Ringkasan Proyek

• Kategori: Enterprise AI, Autonomous Agent Systems, Hybrid RAG + KAG, Customer Support Automation, E-Commerce Logistics.
• Peran: Principal AI Systems & Full-Stack Engineer (Solo Developer).
• Fokus Utama: Perutean semantik cerdas 5 cabang (AgentRouter), eliminasi halusinasi melalui pemisahan data relasional SQL vs vektor dokumen, penalaran multi-turn persisten, perlindungan kegagalan inferensi (Circuit Breaker), laci audit grounding data transparan (Grounding Drawer), persistensi riwayat sesi browser (localStorage), drawer seluler responsif, dan orkestrasi eskalasi manusia via webhook n8n.
• Backend & Arsitektur: Python 3.13, FastAPI, Pola Arsitektur Modular Monolith (Pemisahan ketat layer Agent, RAG, KAG, Persistence, Escalation, Observability, dan API Gateway), Logging Terstruktur JSON dengan Distributed Trace ID (trace_id).
• Database & Integritas Relasional: PostgreSQL 16 Alpine (Container Docker), Paritas SQLite untuk lingkungan audit lokal, Skema Relasional 3NF ACID Compliant (Tabel customers, products, orders, order_items, shipments, issues, agents, conversation_history), Knowledge Graph dengan 48 Node dan 47 Relasi Struktural.
• Retrieval & Mesin Vektor (RAG): ChromaDB Vector Store, Embeddings Dense 384-Dimensi (nomic-embed-text / all-minilm), Chunking Adaptif Berjenjang dengan Overlap Karakter, Cross-Encoder Neural Reranker (ms-marco-MiniLM-L-6-v2) untuk pemeringkatan relevansi semantik presisi tinggi.
• Inference & Otomasi AI: Ollama Self-Hosted Daemon (Model LLM: hermes-2-pro:latest / llama3.2:latest), Circuit Breaker Kustom (Batas 3 kegagalan beruntun, jeda pemulihan 30 detik, pengujian Half-Open, fallback respons terkontrol), n8n Workflow Automation Engine (Port 5678).
• Antarmuka Web (Frontend): React 18, Vite 6, TypeScript (Strict Mode 100%), Tailwind CSS, Lucide Icons, Error Boundary Global untuk pencegahan blank screen, Engine Pengetikan Respons Progresif (StreamingText), Drawer Navigasi Seluler Terisolasi (< 768px), Palet Desain Dual-Tone Enterprise (Charcoal #0E1116, Canvas Putih #FFFFFF, dan Aksen Lime #D4F638).
• Pengujian & Kualitas Perangkat Lunak: Pytest Terintegrasi (58 Unit, Integration, dan End-to-End Tests dengan status 100% PASS), Audit Aksesibilitas dan Desain Bebas AI Slop via Impeccable CLI (0 Warnings, 0 Errors, Standar Kontras WCAG AA).

---

Latar Belakang & Motivasi

Dalam lanskap otomasi bisnis saat ini, mayoritas perusahaan berusaha mengadopsi teknologi kecerdasan buatan (Generative AI) untuk memangkas beban biaya tim customer service. Namun, sebagian besar solusi yang beredar di pasar saat ini hanyalah pembungkus sederhana (simple ChatGPT wrapper) yang menimbulkan kerugian operasional besar bagi perusahaan.

Sebelumnya, implementasi chatbot AI tradisional dan LLM generik sering menghadapi kendala fatal di dunia industri nyata:

1. Halusinasi Parah pada Data Pesanan dan Finansial: LLM generik cenderung mengarang status pengiriman, nomor resi kurir, atau estimasi pengembalian dana fiktif saat ditanya data pesanan spesifik. Memberikan informasi pengiriman yang salah kepada pelanggan berpotensi merusak reputasi merek dan menimbulkan sengketa hukum.
2. Pemborosan Biaya Token API yang Sangat Tinggi: Pada chatbot konvensional, setiap pesan sederhana—seperti salam pembuka ("Halo selamat pagi"), ucapan terima kasih, atau pertanyaan tidak relevan—selalu diteruskan ke model LLM berbayar. Akibatnya, 60% hingga 70% anggaran API habis hanya untuk menjawab basa-basi percakapan.
3. Sifat Kotak Hitam (Black-Box Obscurity): Operator dan manajer tim support tidak memiliki cara untuk mengetahui dari mana asal jawaban yang dihasilkan AI. Ketika AI memberikan janji diskon atau menyetujui komplain barang rusak secara keliru, tidak ada catatan audit yang membuktikan data apa yang dijadikan rujukan.
4. Kerapuhan Arsitektur (Single Point of Failure): Jika server inferensi model lokal atau penyedia cloud API mengalami kelambatan (latency spike) atau down, aplikasi chatbot biasanya langsung membeku, menampilkan pesan error mentah, atau menyebabkan layar putih (white screen of death).
5. Ketiadaan Batasan Domain (Prompt Injection & Topic Drift): Chatbot biasa sangat mudah dialihkan topiknya oleh pelanggan untuk menjawab hal-hal di luar urusan bisnis—mulai dari sejarah politik, ramalan cuaca, hingga trik resep masakan—yang mengubah aset bisnis perusahaan menjadi forum obrolan publik yang merugikan.
6. Kegagalan Ingatan Konteks Multi-Turn: Sebagian besar sistem gagal mengingat entitas pesanan saat pelanggan mengajukan pertanyaan lanjutan singkat tanpa menyebutkan ulang nomor order (misalnya: "Bagaimana dengan kurirnya?" setelah menanyakan nomor resi di pesan sebelumnya).

Saya merancang dan membangun platform SupportSense AI untuk memecahkan seluruh masalah struktural tersebut melalui pendekatan rekayasa perangkat lunak modern:

1. Arsitektur Dual-Engine Anti-Halusinasi (KAG + RAG): Memisahkan data transaksional ke database relasional PostgreSQL via kueri SQL terstruktur (KAG) dan data klausul regulasi ke ChromaDB (RAG). AI dilarang keras berasumsi di luar data bukti konteks.
2. Penyaringan Perutean Semantik Cepat (Sub-5ms Direct Path): Pertanyaan sapaan dan pertanyaan di luar domain diselesaikan seketika pada level router tanpa menyentuh database atau memanggil model LLM, memangkas biaya komputasi hingga 70%.
3. Transparansi Grounding Penuh (Auditable Grounding Drawer): Setiap jawaban dilengkapi tombol inspeksi yang membuka laci visual berisikan baris data SQL mentah atau kutipan dokumen regulasi yang digunakan sebagai rujukan.
4. Ketahanan Berstandar Perbankan (Circuit Breaker & Error Boundary): Backend dilindungi pola pemutus sirkuit 3 tahap yang memberikan respons fallback anggun saat inferensi terganggu; frontend dilindungi React Error Boundary untuk mencegah crash UI.
5. Penjaga Batasan Keamanan (Defensive Guardrails): Deteksi otomatis terhadap percobaan injeksi skrip, permintaan pembobolan akun, dan pertanyaan politik/sejarah yang langsung ditolak secara tegas dalam hitungan milidetik.
6. Resolusi Konteks Multi-Turn Deterministik: Modul repositori persistensi secara otomatis mempertahankan nomor order aktif di level sesi hingga puluhan giliran percakapan berikutnya.

---

Kontribusi Utama Saya

Perancangan Mesin Perutean Semantik 5 Cabang (AgentRouter)

• Membangun modul orkestrasi perutean cerdas independen di app/agent/router.py yang mengklasifikasikan intent pesan pelanggan ke dalam 5 rute pemrosesan:
  • Direct Route (<5ms): Menangani sapaan, closing percakapan, dan penolakan topik luar domain secara instan menggunakan pencocokan pola leksikal tingkat tinggi.
  • KAG Relational Route: Mengekstraksi nomor order (#XXXX) dan mengeksekusi traversal data relasional di PostgreSQL.
  • RAG Vector Route: Menjalankan pencarian semantik dokumen kebijakan retur dan garansi di ChromaDB.
  • Hybrid Route: Mensintesis entitas pesanan fisik dan klausul regulasi garansi secara simultan.
  • Escalation Route: Mengalihkan tiket bermasalah ke antrean manusia saat sentimen pelanggan negatif atau skor keyakinan rendah.

Arsitektur Dual-Engine: Knowledge Graph (KAG) & Dense Vector (RAG)

• Mengintegrasikan dua fondasi data yang berbeda ke dalam satu pipeline terpadu:
  • Relational KAG Engine: Membangun graf pengetahuan berbasis 48 node dan 47 relasi dari skema relasional PostgreSQL 3NF. Menghasilkan kueri SQL parametris multi-tabel (orders JOIN customers JOIN order_items JOIN shipments JOIN issues) yang kebal terhadap serangan SQL Injection.
  • Vector RAG Engine: Merancang pipeline ekstraksi dokumen kebijakan dengan pembagian teks bertingkat (recursive chunking), embedding vektor 384 dimensi, dan pemeringkatan ulang berbasis model Cross-Encoder untuk memastikan hanya 2 potongan teks paling relevan yang dikirimkan ke konteks LLM.

Pola Keandalan Circuit Breaker untuk Inferensi AI Mandiri

• Mengimplementasikan pola keandalan Circuit Breaker Pattern pada klien LLM di app/llm/client.py untuk melindungi ekosistem dari kegagalan Ollama lokal:
  • Status CLOSED: Seluruh pemanggilan inferensi berjalan normal.
  • Status OPEN: Jika terjadi 3 kali kegagalan koneksi atau timeout berturut-turut, sirkuit trip ke status terbuka selama 30 detik, menahan panggilan keluar dan langsung mengembalikan pesan fallback terstruktur kepada pelanggan.
  • Status HALF-OPEN: Setelah masa jeda berakhir, satu request uji coba diizinkan lewat untuk menguji pemulihan model sebelum membuka lalu lintas penuh kembali.

Manajemen Riwayat Sesi Multi-Turn Berkinerja Tinggi

• Mengembangkan lapisan repositori persistensi sesi di app/persistence/repository.py yang mencatat mutasi dialog dan jejak trace_id.
• Menerapkan algoritma pencarian mundur (reverse lookback resolution) hingga 100 pesan ke belakang untuk mendeteksi nomor order aktif secara otomatis ketika pelanggan mengajukan pertanyaan tanpa menyebutkan nomor order kembali.

Konsol Frontend Enterprise dengan Sinkronisasi LocalStorage & Mode Seluler

• Merancang ulang konsol React 18 dengan sistem desain dual-tone yang elegan:
  • Mengimplementasikan Global React Error Boundary di ErrorBoundary.tsx yang menangani exception rendering tanpa menyebabkan layar putih.
  • Membangun sinkronisasi riwayat percakapan otomatis per sesi ke browser localStorage (supportsense_sessions dan supportsense_history_${sessionId}), menjamin pesan tidak hilang saat halaman di-refresh (F5).
  • Mengembangkan sistem navigasi drawer off-canvas yang mulus untuk layar seluler dan tablet (< 768px) lengkap dengan overlay transparan dan tombol hamburger di header.
  • Mengembangkan sub-komponen StreamingText di ChatStream.tsx untuk efek pengetikan progresif bertahap disertai kursor visual berkedip.

Jalur Audit Transparansi Data (Grounding Audit Drawer)

• Mengembangkan drawer inspeksi grounding kontekstual di GroundingDrawer.tsx yang dapat dibuka dengan satu klik pada setiap pesan AI.
• Menampilkan rincian transparan: nomor trace transaksi, jalur rute yang diambil, latensi inferensi milidetik, skor keyakinan, tabel SQL hasil JOIN, atau teks regulasi ChromaDB yang digunakan mesin.

Integrasi Otomasi Human-in-the-Loop via Webhook n8n

• Membangun modul webhook asinkron di app/escalation/webhook_client.py yang secara otomatis mengirimkan payload insiden ke workflow n8n di port 5678 ketika pelanggan mengalami komplain berat, meminta agen manusia, atau saat skor keyakinan berada di bawah 0.65.

---

Fitur Produk Inti

1. Konsol Operator Layanan Pelanggan (Dual-Tone Workspace Console)

• Antarmuka kerja terpadu dengan navigasi charcoal #0E1116 dan canvas kerja putih beradius tinggi (rounded-[24px]).
• Selector model cerdas (SupportSense 1.0), tombol pembagian sesi instan, dan lencana identitas operator terverifikasi.
• Kolom pencarian sesi percakapan dengan penyaringan instan dan tombol reset sesi baru (⌘ N).

2. Pelacakan Pesanan & Logistik Otonom (Autonomous Order Tracking)

• Pemeriksaan instan terhadap nomor pesanan e-commerce (seperti #4521, #4523, #4534).
• Menampilkan rincian kurir (FedEx, DHL, JNE, SiCepat), nomor resi pelacakan, status paket terkini, daftar produk yang dibeli, dan riwayat catatan investigasi penanganan kendala barang hilang atau rusak.
• Penalaran percakapan lanjutan yang mulus tanpa perlu memasukkan kembali nomor resi pada pertanyaan lanjutan.

3. Verifikasi Kebijakan & Garansi Perusahaan (Policy & Warranty Verification)

• Menjawab secara presisi pertanyaan seputar batas pengembalian barang 30 hari, syarat segel terbuka, pengembalian dana penuh (full refund), dan ketentuan klaim garansi cacat produksi pabrik 24 bulan.
• Ditenagai pencarian semantik vektor ChromaDB yang dipadukan dengan pemeringkat Cross-Encoder untuk akurasi jawaban legalitas tertinggi.

4. Laci Inspeksi Bukti Data (Context Grounding Audit Drawer)

• Panel geser kanan interaktif yang dapat diakses operator untuk meninjau secara gamblang data mentah yang dijadikan dasar pertimbangan AI.
• Menampilkan raw record SQL relasional, teks dokumen sumber, skor kepercayaan persentase (misal: 95%), dan kode identifikasi penelusuran sistem (trace_id).

5. Modal Telemetri & Kesehatan Kluster Real-Time (Cluster Telemetry Modal)

• Dashboard diagnostik pop-up yang menyajikan indikator kesehatan langsung:
  • Jumlah node graf pengetahuan PostgreSQL (48 Nodes, 47 Edges).
  • Jumlah koleksi chunk vektor regulasi (14 ChromaDB Vectors).
  • Model inferensi aktif (Hermes 2 Pro dan nomic-embed-text).
  • Status koneksi database PostgreSQL (Port 5433) dan Ollama (Port 11434).

6. Penjaga Batasan Domain & Keamanan (Domain & Injection Guardrails)

• Penolakan tegas dan sopan dalam waktu kurang dari 5 milidetik terhadap pertanyaan topik umum (politik, sejarah, resep, cuaca) yang tidak berkaitan dengan lingkup layanan pelanggan.
• Pemblokiran langsung dan pencatatan log audit fraud terhadap percobaan manipulasi sistem, SQL injection, atau permintaan bypass kredensial akun.

7. Alur Kerja Eskalasi Agen Manusia (Automated Human Handover Workflow)

• Otomasi deteksi risiko kehilangan pelanggan (churn risk) dan sentimen kekecewaan tinggi.
• Pengiriman notifikasi webhook otomatis ke server n8n untuk pembuatan tiket bantuan prioritas di sistem CRM eksternal.

---

Teknologi & Arsitektur Sistem (Tech Stack)

SupportSense AI dibangun menggunakan kombinasi tumpukan teknologi modern berkinerja tinggi yang mengedepankan keamanan data, latensi rendah, dan kesiapan produksi skala besar:

• Framework Backend Core: Python 3.13, FastAPI (Uvicorn ASGI Server, Endpoint REST /chat, /health, /telemetry, /metrics)
• Arsitektur Perangkat Lunak: Modular Monolith Architecture dengan pemisahan domain independen
• Frontend & Antarmuka: React 18, Vite 6, TypeScript (Strict Mode), Tailwind CSS, Lucide Icons
• Basis Data Relasional (KAG): PostgreSQL 16 Alpine (Docker Container pada port 5433), SQLite Parity untuk audit lokal
• Basis Data Vektor (RAG): ChromaDB Vector Store (14 policy chunks di direktori ./data/chroma)
• Mesin Embedding: Nomic Embed Text / All-MiniLM (Dense Vectors 384-Dimensi)
• Model Pemeringkat (Reranker): Sentence-Transformers Cross-Encoder (ms-marco-MiniLM-L-6-v2)
• Inference LLM: Ollama Local Daemon (Port 11434, Model Hermes 2 Pro / Llama 3.2)
• Mesin Otomasi & Alur Kerja: n8n Workflow Automation Container (Port 5678)
• Observability & Pelacakan: Structured JSON Logging dengan Distributed UUID Trace IDs, Prometheus-style Metrics
• Pengujian & Kualitas Kode: Pytest (58 passing tests), Impeccable Design Quality & Accessibility Auditor

---

Tantangan Nyata & Solusi yang Diterapkan

1. Mengeliminasi Halusinasi AI pada Data Transaksi Pesanan Spesifik

• Tantangan: Ketika pelanggan menanyakan status pesanan seperti "Dimana pesanan #4534 saya?", model LLM generik sering kali mengarang status pengiriman atau nomor resi yang tidak pernah ada di database perusahaan.
• Solusi: Saya membangun pemisahan jalur data yang tegas melalui arsitektur KAG. Nomor order diekstraksi terlebih dahulu secara deterministik, lalu kueri SQL relasional dijalankan ke PostgreSQL 16 untuk mengambil data aktual (Lost in Transit, kurir FedEx, catatan agen Siti Rahma). Hasil database ini kemudian diumpankan ke prompt LLM dengan instruksi kepatuhan ketat: model dilarang menambahkan fakta apa pun di luar data SQL tersebut.

2. Memangkas Biaya Token API dan Menghindari Bottleneck Latensi Inferensi

• Tantangan: Memanggil model LLM berbobot 8 milliar parameter untuk menjawab pesan sederhana seperti "Halo selamat malam" atau pertanyaan nyasar seperti "Siapa presiden Indonesia?" membutuhkan waktu 2 hingga 4 detik dan menghabiskan biaya komputasi yang sia-sia.
• Solusi: Saya merancang gerbang penyaringan awal (pre-filtering gate) di dalam AgentRouter. Algoritma leksikal mendeteksi sapaan umum dan topik di luar domain, lalu mengembalikan respons template terstruktur dalam waktu kurang dari 5 milidetik (Direct Route <5ms) tanpa pernah memanggil LLM atau mengeksekusi kueri database. Pola ini memangkas beban komputasi server hingga lebih dari 70%.

3. Mencegah Kegagalan Total Sistem Saat Daemon Inferensi LLM Mengalami Gangguan

• Tantangan: Pada implementasi server mandiri (self-hosted), daemon Ollama dapat mengalami lonjakan antrean GPU atau kehabisan memori. Jika backend terus mengirim request secara membabi-buta, koneksi akan timeout dan menyebabkan crash berantai pada seluruh antarmuka web.
• Solusi: Saya menerapkan pola ketahanan Circuit Breaker Pattern pada klien LLM. Sirkuit memonitor pemanggilan jaringan; jika terjadi 3 kali kegagalan beruntun, sirkuit langsung membuka (OPEN) selama 30 detik untuk menahan request keluar dan seketika menyajikan respons fallback yang elegan kepada pengguna. Setelah 30 detik, sirkuit memasuki fase HALF-OPEN untuk menguji stabilitas model sebelum kembali ke operasi penuh.

4. Mempertahankan Riwayat Percakapan Klien Tanpa Menambah Beban Database

• Tantangan: Pada aplikasi single-page (SPA) berbasis web, melakukan refresh halaman browser (F5) biasanya langsung menghapus seluruh pesan obrolan aktif jika tidak disimpan di sisi klien, menciptakan pengalaman pengguna yang buruk.
• Solusi: Saya membangun sinkronisasi dua arah antara state React dan browser localStorage. Setiap sesi obrolan disimpan dengan namespace unik (supportsense_sessions dan supportsense_history_${sessionId}). Ketika operator beralih sesi atau me-refresh peramban, seluruh percakapan terpulihkan seketika secara offline tanpa membebani server backend dengan kueri database berulang.

5. Mengatasi Ambiguitas Konteks pada Percakapan Lanjutan (Multi-Turn Context Drift)

• Tantangan: Pelanggan sering bertanya dengan kalimat yang ambigu pada giliran kedua, misalnya: "Apa saja barang di dalamnya?" tanpa menyebutkan lagi nomor pesanan. Chatbot biasa akan gagal karena menganggap pertanyaan tersebut berdiri sendiri.
• Solusi: Saya mengimplementasikan modul pencarian konteks mundur di repositori persistensi. Sistem secara otomatis memindai riwayat dialog sesi aktif hingga menemukan nomor order terakhir yang sedang dibahas, lalu menginjeksi konteks nomor order tersebut ke kueri SQL KAG berikutnya secara mulus.

---

Nilai Bisnis & Pembelajaran Kunci

• Efisiensi Finansial Operasional Nyata: Membuktikan bahwa perpaduan semantic routing dan penanganan rute langsung (Direct Route) mampu menghemat biaya operasional token AI hingga 70% pada skenario layanan pelanggan skala besar.
• Transparansi Menghasilkan Kepercayaan Korporat (Auditable AI): Memahami bahwa sistem AI enterprise yang bernilai tinggi adalah sistem yang memiliki akuntabilitas penuh. Penyediaan laci inspeksi grounding data (Grounding Audit Drawer) memberikan rasa aman bagi pemilik bisnis dan tim kepatuhan hukum perusahaan.
• Kekuatan Pemisahan Tugas (Separation of Concerns): Menyadari pentingnya membagi domain antara data terstruktur (SQL untuk transaksi angka dan tanggal) dan data tak terstruktur (Vektor untuk klausul regulasi). Menggabungkan keduanya melalui arsitektur Hybrid RAG + KAG jauh lebih superior dan akurat dibandingkan mengandalkan RAG berbasis dokumen teks semata.
• Ketahanan Sistem Produksi (Production Resilience): Mengasah keahlian membangun arsitektur perangkat lunak yang defensif—mulai dari penanganan batas domain, circuit breaker inferensi, isolasi crash frontend melalui React Error Boundary, hingga pengujian otomatis berkelanjutan dengan 58 uji pytest komprehensif.