Bobalytics
Bobalytics menyediakan analitik dan insight tentang bagaimana IBM Bob berkontribusi pada proses pengembangan software-mu. Gunakan untuk memahami dampak Bob pada codebase-mu, melacak pengeluaran Bobcoin, dan memantau adopsi tim di seluruh organisasi.
Mengakses Bobalytics
Bobalytics tersedia eksklusif untuk pengguna paket Enterprise.
Buka Bobalytics dari portal web IBM Bob.
Kunjungi bob.ibm.com dan login.
Klik Admin, lalu pilih tab Bobalytics.
Navigasi Bobalytics
Bobalytics memiliki empat bagian utama: Metrics, Insights, Today, dan My board.
Admin hanya bisa melihat data mereka sendiri di tampilan pengguna. Tampilan pengguna tidak memberikan akses ke data individual pengguna lain.
Memfilter data
Gunakan pemilih rentang waktu untuk mengontrol periode yang dicakup semua grafik. Grafik diperbarui secara dinamis untuk mencerminkan rentang yang dipilih. Perbandingan periode sebelumnya yang ditampilkan di setiap kartu key performance indicator (KPI) dihitung secara otomatis berdasarkan periode yang setara segera sebelum pilihanmu.
Di tampilan Metrics, gunakan dropdown Teams untuk memilih satu atau lebih tim dan mengagregasi data dari mereka.
Tampilan Metrics
Tampilan Metrics mengorganisir analitik di sekitar tiga key performance indicator: Adoption rate, Bob factor, dan pengeluaran Bobcoin. Gunakan tab Scope untuk beralih antara level Organization, Team, dan User.
Di bagian atas tampilan Metrics, tiga kartu ringkasan memberikan gambaran sekilas:
- Adoption: Adoption rate, yaitu rata-rata daily active users sebagai persentase dari total kursi berlisensi, dengan indikator tren dibandingkan periode sebelumnya.
- Value: Bob factor, yaitu persentase baris kode yang di-commit yang dibuat oleh Bob, dengan indikator tren.
- Cost: Pengeluaran Bobcoin, yaitu total Bobcoin yang dikonsumsi dalam periode yang dipilih, ditampilkan sebagai angka dan sebagai persentase anggaranmu, dengan indikator tren.
Adoption rate
Adoption rate mengukur seberapa konsisten timmu menggunakan Bob. Dihitung sebagai rata-rata daily active users dibagi total jumlah kursi berlisensi. Pengguna dihitung sebagai aktif pada hari tertentu ketika mereka menerima setidaknya satu penyelesaian kode atau menyelesaikan percakapan chat.
Metrik utama:
- Team onboarding: persentase adopsi untuk setiap tim, ditampilkan sebagai bar chart.
- Daily active users: grafik garis pengguna aktif dari waktu ke waktu. Gunakan toggle By team atau All teams untuk beralih antara rincian per tim dan tampilan agregat.
- Detail dan tren tim: tabel yang menampilkan metrik per tim termasuk adoption rate, active users (rata-rata/hari), Bob factor, Bob LOC, total LOC, dan pengeluaran Bobcoin. Pilih Trends untuk melihat bagaimana setiap metrik berubah dari waktu ke waktu.
Metrik pendukung:
- Usage levels: rincian pengguna berdasarkan frekuensi keterlibatan. Kategorinya adalah:
- Daily: digunakan pada sebagian besar hari dalam periode ini
- Frequent: digunakan secara teratur, tetapi tidak pada sebagian besar hari
- Occasional: digunakan pada beberapa hari
- Inactive: tidak ada aktivitas dalam periode ini
- Dampak repository Bob: repository tempat pengguna Bob paling aktif.
Kamu bisa mengklik setiap komponen grafik untuk mempelajari lebih lanjut tentang metrik tertentu.
Jika adoption rate rendah, periksa usage levels untuk mengidentifikasi pengguna yang tidak aktif atau sesekali. Menghubungi pengguna tersebut atau meninjau onboarding mereka bisa membantu meningkatkan adopsi sebelum akhir siklus penagihan.
Bob factor
Bob factor mengukur kontribusi Bob pada codebase-mu. Ini adalah persentase baris kode yang di-commit yang dibuat oleh Bob.
Formula: Baris kode yang di-commit oleh Bob ÷ total baris kode yang di-commit
Untuk memastikan akurasi metrik, perhitungan Bob factor mengecualikan commit di mana Bob tidak memberikan kontribusi baris kode apapun ketika totalnya melebihi 40.000 baris kode. Commit-commit besar ini biasanya terdiri dari kode template, file dependensi, atau test fixture yang akan mendistorsi hasilnya.
Commit yang dikecualikan tidak dihapus; commit tersebut tetap muncul di daftar repositori dan di semua telemetri lainnya.
Metrik utama:
- Impact dan cost: bagaimana Bob factor setiap tim dibandingkan dengan pengeluaran Bobcoin mereka.
- Bob-assisted commits: grafik garis commit selama periode yang dipilih, dengan toggle untuk memilih per tim atau semua tim.
- Detail dan tren tim: tabel yang menampilkan adopsi, biaya, dan metrik factor per tim. Pilih Trends untuk melihat bagaimana setiap metrik berubah dari waktu ke waktu.
Metrik pendukung:
- Dampak repository Bob: repository tempat pengguna Bob aktif.
Gunakan Bob factor bersama pengeluaran Bobcoin untuk menilai efisiensi. Tim dengan Bob factor tinggi dan pengeluaran rendah menunjukkan Bob digunakan secara efektif. Pengeluaran tinggi dengan Bob factor rendah mungkin menunjukkan Bob digunakan banyak untuk task-task yang tidak menghasilkan kode yang di-commit, seperti riset, penjelasan, atau eksplorasi.
Pengeluaran Bobcoin
Pengeluaran Bobcoin melacak total Bobcoin yang dikonsumsi selama periode yang dipilih.
Metrik utama:
- Impact dan cost: bagaimana Bob factor setiap tim dibandingkan dengan pengeluaran Bobcoin mereka.
- Daily spend: Bobcoin yang dihabiskan per hari.
- Detail dan tren tim: tabel yang menampilkan metrik adopsi, nilai, dan biaya per tim. Pilih Trends untuk melihat bagaimana setiap metrik berubah dari waktu ke waktu.
Metrik pendukung:
- Dampak repository Bob: repository tempat pengguna Bob aktif.
Jika sebuah tim menghabiskan Bobcoin lebih cepat dari yang diharapkan, tinjau adoption rate dan Bob factor mereka bersama pengeluaran. Pengeluaran tinggi dipasangkan dengan adopsi tinggi dan Bob factor yang kuat menunjukkan penggunaan yang efektif. Pengeluaran tinggi dengan Bob factor rendah mungkin menunjukkan peluang untuk meninjau cara penggunaan Bob di tim tersebut.
Menggunakan Bobalytics secara efektif
Tiga KPI di Bobalytics bekerja bersama untuk memberikan gambaran lengkap tentang nilai Bob di seluruh organisasimu.
| Tujuan | KPI yang perlu difokuskan |
|---|---|
| Pahami berapa banyak orang yang aktif menggunakan Bob | Adoption rate |
| Ukur kontribusi nyata Bob pada kode yang dikirimkan | Bob factor |
| Pantau dan kendalikan biaya tooling AI | Pengeluaran Bobcoin |
| Nilai efisiensi (nilai vs. biaya) | Bob factor + Pengeluaran Bobcoin bersama |
Meninjau data secara rutin
Periksa Bobalytics secara teratur (mingguan atau bulanan) untuk melihat tren sebelum menjadi masalah. Misalnya:
- Adoption rate yang menurun selama beberapa minggu mungkin menandakan pengguna perlu enablement tambahan atau workflow perlu disesuaikan.
- Lonjakan mendadak dalam pengeluaran Bobcoin bisa diselidiki dengan memfilter ke tim atau rentang waktu tertentu untuk mengidentifikasi sumbernya.
- Bob factor yang terus meningkat bersama pengeluaran yang stabil adalah sinyal kuat bahwa timmu mendapatkan nilai yang semakin meningkat dari Bob dari waktu ke waktu.
Berbagi insight dengan stakeholder
Tampilan Insights mengagregasi data dari semua tim, berguna untuk pelaporan ke pimpinan atau membenarkan investasi tooling AI. Filter berdasarkan tim tertentu untuk membuat laporan yang ditargetkan untuk pemimpin tim atau pemilik proyek.
Untuk informasi lebih lanjut tentang mengelola anggaran Bobcoin dan memahami bagaimana pengeluaran terakumulasi, lihat Bobcoins.
Privasi dan visibilitas data
Bobalytics dirancang untuk memberikan insight level tim tanpa mengekspos data pengguna individual kepada admin.
- Informasi yang mengidentifikasi pengguna, seperti alamat email, di grafik level tim dianonimkan dan ditampilkan sebagai User 1, User 2, dan seterusnya.
- Admin tidak dapat mengakses data spesifik pengguna dari grafik level tim manapun.
- Setiap pengguna bisa melihat data individual mereka sendiri di halaman tampilan Pengguna.
Skills
Buat instruction set yang bisa digunakan kembali untuk workflow khusus. Definisikan custom workflow, tambahkan file pendukung, dan ajarkan Bob task-task khusus untuk hasil yang konsisten.
Bobcoins
Bobcoins adalah metrik penagihan berbasis konsumsi yang digunakan untuk paket Bob. Metrik ini menyediakan cara yang transparan dan dapat diprediksi untuk mengukur dan menagih penggunaan Bob-mu.