Beranda
Cloud Computing
Developer Tools

Generative AI Application Builder on AWS: Uji LLM Cepat

Generative AI Application Builder on AWS (GAAB) adalah solusi open source dari AWS Solutions yang menyajikan dasbor berbasis web untuk membangun, menguji, dan mendaftarkan aplikasi Generative AI tanpa menuntut pengalaman AI yang mendalam. Tool ini ditujukan untuk developer, data scientist, business user, dan profesional IT yang ingin membandingkan berbagai Large Language Model secara terstruktur sebelum membawa prototipenya masuk ke produksi.

Tampilan README aws-solutions/generative-ai-application-builder-on-aws di GitHub

Apa yang Dilakukan GAAB

GAAB bekerja seperti laboratorium LLM yang berdiri sendiri di dalam akun AWS Anda. Admin user masuk ke Deployment Dashboard, lalu menata use case melalui wizard; seluruh konfigurasi LLM yang dipilih disimpan di DynamoDB, sementara deployment dijalankan sebagai nested Amazon CloudFormation stack sehingga setiap use case punya tumpukan sumber daya sendiri. Setelah use case aktif, business user dapat mengobrol dengan basis pengetahuan perusahaan lewat antarmuka chat, dan DevOps memantau kesehatan operasional melalui dashboard Amazon CloudWatch.

Yang membuat proyek ini menarik adalah arsitekturnya yang modular dan terbuka. LangChain open-source software dipakai sebagai orkestrator yang menjembatani permintaan pengguna ke model, sementara Amazon Bedrock dan Amazon SageMaker AI menjadi penyedia LLM bawaan. Hasil use case pun tidak berhenti sebagai demo, karena tersedia endpoint REST untuk integrasi ke aplikasi internal Anda sendiri, plus jalur deployed yang bisa langsung dipakai pengguna akhir.

  • Eksperimen cepat dengan kemampuan productionize at scale
  • Arsitektur extendable dan termodularisasi menggunakan nested Amazon CloudFormation stacks
  • Enterprise ready untuk data spesifik perusahaan guna menjawab masalah bisnis nyata
  • Integrasi Amazon Bedrock dan Amazon SageMaker AI sebagai penyedia LLM
  • Perbandingan multi-LLM dengan pelacakan metrik melalui dashboard Amazon CloudWatch
  • Daftar penyedia model dan use case Gen AI yang terus bertambah

Diagram

Cara Install

Ada dua jalur instalasi. Jalur tercepat adalah 1-click deployment: buka Solution Landing Page di aws.amazon.com/solutions/implementations/generative-ai-application-builder-on-aws, lalu pilih "Launch in the AWS Console" pada opsi Deployment. Jalur kedua adalah membangun dan deploy sendiri dari kode sumber, sehingga Anda memegang kontrol penuh atas konfigurasi dan versi.

Untuk jalur kode sumber, prasyaratnya adalah Docker, Node.js 20.x, CDK v2.118.0, Python 3.13.x (dengan dukungan ensurepip dan pip), AWS CLI, serta jq. AWS CLI wajib dikonfigurasi dengan kredensial yang masih valid; jika belum menjalankan cdk bootstrap di akun dan region tersebut, lakukan sekali sebelum melangkah lebih jauh.

  1. Clone repositori ini dari GitHub ke mesin lokal, lalu masuk ke direktori source/infrastructure dan jalankan rangkaian perintah berikut:
  cd <project-directory>/source/infrastructure
  npm install
  npm run build
  cdk synth
  cdk deploy DeploymentPlatformStack --parameters AdminUserEmail=<replace with admin user's email>

  1. Perhatikan bahwa cdk deploy yang dipanggil dengan nama stack hanya menyintesis stack tersebut. Karena itu cdk synth di atas penting, agar seluruh stack ikut terbentuk mengikuti perubahan kode infrastruktur.

  2. Untuk deploy use case chat, aset hasil sintesis CDK (Lambda, template CloudFormation) dari direktori source/infrastructure/cdk.out perlu distage ke bucket S3. Jalankan skrip berikut dari direktori source:

cd <project-directory>/source
./stage-assets.sh

  1. Bila Anda mengustomisasi nama bucket bootstrap CDK, perbarui properti cdk-asset-bucket pada source/infrastructure/cdk.json. Jika dibiarkan kosong, solution memakai bucket default cdk-hnb659fds-assets-${ACCOUNT_ID}-${REGION}.

  2. Untuk memverifikasi UI secara lokal, Anda juga bisa men-deploy endpoint API dan infrastruktur pendukung, lalu mengikuti panduan pada proyek Deployment Dashboard (source/ui-deployment/README.md) dan Chat UI (source/ui-chat/README.md).

Contoh Penggunaan Cepat

Setelah dashboard terpasang, Administrator log in, membuat use case baru, lalu mengisi pilihan LLM melalui wizard. Business user kemudian masuk ke antarmuka chat untuk menguji jawaban dan, bila knowledge base diaktifkan, получа jawaban yang diperkaya konteks dokumen perusahaan. Contoh keluaran skrip saat aset distage:

>>> ./stage-assets.sh
This script should be run from the 'source' folder
The region to upload CDK artifacts to (default:us-east-1)?
>>> us-west-2
>>> All assets will be uploaded to cdk-hnb659fds-assets-123456789-us

Ada dua tipe use case yang didukung. Pada Text Use Case, permintaan pengguna diteruskan dari API Gateway ke antrean Amazon SQS, lalu ditangani LangChain Orchestrator. Orkestrator ini mengambil opsi LLM konfigurasi dan riwayat percakapan dari DynamoDB, menarik potongan dokumen lewat Amazon Kendra atau Knowledge Bases for Amazon Bedrock, menyusun prompt final, lalu mengirimkannya ke model di Amazon Bedrock atau Amazon SageMaker AI. Balasannya dialirkan kembali melalui WebSocket API Gateway ke antarmuka pengguna. Pada Agent Use Case, alurnya lebih ringkas: payload diteruskan ke Amazon Bedrock Agent untuk memenuhi intent pengguna, lalu respons dialirkan balik dengan pola yang sama. Keduanya dilengkapi dashboard CloudWatch, dan bila feedback collection diaktifkan, umpan balik pengguna beserta metadata seperti model yang dipakai disimpan ke Amazon S3 untuk analisis.

Diagram

Kode sumber, panduan implementasi, dan pembaruan rilisnya tersedia di aws-solutions/generative-ai-application-builder-on-aws on GitHub, sedangkan ringkasan solusi resmi ada di halaman AWS Solutions.

Posting Komentar