Bobalytics
Bobalytics 提供分析和洞察,帮助你了解 IBM Bob 如何为你的软件开发流程做出贡献。使用它来了解 Bob 对代码库的影响、追踪 Bobcoin 消耗情况,并监控组织内各团队的采用情况。
访问 Bobalytics
Bobalytics 仅供 Enterprise 计划用户使用。
从 IBM Bob 网页门户打开 Bobalytics。
前往 bob.ibm.com 并登录。
点击 Admin,然后选择 Bobalytics 标签页。
浏览 Bobalytics
Bobalytics 有四个主要部分:Metrics、Insights、Today 和 My board。
管理员只能在用户视图中查看自己的数据。用户视图不提供对其他用户个人数据的访问权限。
筛选数据
使用时间范围选择器控制所有图表所覆盖的时间段。图表会动态更新以反映所选范围。每张关键绩效指标(KPI)卡片上显示的与上一期间的对比,是根据你所选时间段之前的等效时间段自动计算的。
在 Metrics 视图中,使用 Teams 下拉菜单选择一个或多个团队,并汇总这些团队的数据。
Metrics 视图
Metrics 视图围绕三个关键绩效指标组织分析:采用率、Bob 因子和 Bobcoin 消耗。使用 Scope 标签页在组织、团队和用户级别之间切换。
在 Metrics 视图顶部,三张摘要卡片为你提供概览:
- Adoption:采用率,即平均日活跃用户占已授权席位总数的百分比,并附有与上一期间对比的趋势指示。
- Value:Bob 因子,即 Bob 创建的已提交代码行数百分比,并附有趋势指示。
- Cost:Bobcoin 消耗,即所选时间段内消耗的 Bobcoin 总量,以数字和占预算百分比的形式显示,并附有趋势指示。
采用率
采用率衡量你的团队使用 Bob 的一致程度。计算方式为日均活跃用户数除以已授权席位总数。用户在某一天接受至少一次代码补全或完成一次聊天对话,即被计为当日活跃用户。
主要指标:
- 团队入职:各团队的采用百分比,以柱状图显示。
- 日活跃用户:随时间变化的活跃用户折线图。使用按团队或所有团队切换按钮在每个团队的分类视图和汇总视图之间切换。
- 团队详情与趋势:显示每个团队指标的表格,包括采用率、活跃用户(日均)、Bob 因子、Bob 代码行数、总代码行数和 Bobcoin 消耗。选择趋势可查看每项指标随时间的变化情况。
支持指标:
- 使用级别:按参与频率划分的用户分布。类别包括:
- 每天:在本期间的大多数天数中有使用
- 频繁:定期使用,但不是大多数天数
- 偶尔:在部分天数中有使用
- 不活跃:本期间无活动
- Bob 对 repository 的影响:Bob 用户最活跃的 repository。
你可以点击每个图表组件,了解特定指标的更多信息。
如果采用率较低,请查看使用级别以识别不活跃或偶尔使用的用户。联系这些用户或审查其入职流程,有助于在计费周期结束前提升采用率。
Bob 因子
Bob 因子衡量 Bob 对代码库的贡献。它是 Bob 创建的已提交代码行数占总提交代码行数的百分比。
公式: Bob 提交的代码行数 ÷ 总提交代码行数
为确保指标准确性,当提交总行数超过 40,000 行代码时,Bob 因子计算会排除 Bob 编写行数为零的提交。这些大型提交通常包含样板代码、依赖文件或测试固件,否则会导致结果失真。
排除的提交不会被删除;它们仍会出现在仓库列表和所有其他遥测数据中。
主要指标:
- 影响与成本:各团队的 Bob 因子与其 Bobcoin 消耗的对比。
- Bob 辅助提交:所选时间段内提交记录的折线图,可按团队或所有团队切换。
- 团队详情与趋势:显示每个团队的采用率、成本和因子指标的表格。选择趋势可查看每项指标随时间的变化情况。
支持指标:
- Bob 对 repository 的影响:Bob 用户活跃的 repository。
结合 Bobcoin 消耗来使用 Bob 因子,以评估使用效率。Bob 因子高且消耗低的团队表明 Bob 被有效使用。高消耗但 Bob 因子低,可能表明 Bob 被大量用于不产生已提交代码的任务,如研究、解释或探索。
Bobcoin 消耗
Bobcoin 消耗追踪所选时间段内消耗的 Bobcoin 总量。
主要指标:
- 影响与成本:各团队的 Bob 因子与其 Bobcoin 消耗的对比。
- 每日消耗:每天花费的 Bobcoin。
- 团队详情与趋势:显示每个团队的采用率、价值和成本指标的表格。选择趋势可查看每项指标随时间的变化情况。
支持指标:
- Bob 对 repository 的影响:Bob 用户活跃的 repository。
如果某个团队的 Bobcoin 消耗速度超出预期,请结合消耗情况查看其采用率和 Bob 因子。高消耗与高采用率及强劲的 Bob 因子相结合,表明使用效果良好。Bob 因子低但消耗高,则可能提示需要审视该团队使用 Bob 的方式。
有效使用 Bobalytics
Bobalytics 中的三个 KPI 协同工作,为你提供 Bob 在整个组织中价值的完整图景。
| 目标 | 重点关注的 KPI |
|---|---|
| 了解有多少人在积极使用 Bob | 采用率 |
| 衡量 Bob 对已发布代码的实际贡献 | Bob 因子 |
| 监控和控制 AI 工具成本 | Bobcoin 消耗 |
| 评估效率(价值与成本) | Bob 因子 + Bobcoin 消耗综合分析 |
定期审查数据
按周或按月定期查看 Bobalytics(每周或每月),在趋势演变为问题之前及时发现。例如:
- 连续数周的采用率下降可能表明用户需要额外的指导,或工作流程需要调整。
- Bobcoin 消耗突然激增,可以通过筛选特定团队或时间范围来调查原因。
- 在消耗稳定的情况下 Bob 因子持续上升,是团队随时间推移从 Bob 获得越来越多价值的有力信号。
与利益相关者共享洞察
Insights 视图汇聚了所有团队的数据,便于向管理层汇报或证明 AI 工具投入的合理性。通过筛选特定团队,可为团队负责人或项目负责人生成有针对性的报告。
要导出数据,请在任何 Bobalytics 视图的右上角选择 Export。选择要包含的表格。每个表格都会作为单独的 CSV 文件保存在 ZIP 存档中。可用的表格包括:
- 与团队比较的 Bob 因子
- Bob 对 repository 的影响
- 最常用的模式
- Bob 按语言的代码贡献
有关管理 Bobcoin 预算及了解消耗如何累计的更多信息,请参阅 Bobcoins。
隐私与数据可见性
Bobalytics 的设计旨在提供团队层级的洞察,同时不向管理员暴露个人用户数据。
- 团队级图表中的用户身份信息(如电子邮件地址)已匿名处理,显示为用户 1、用户 2,以此类推。
- 管理员无法通过任何团队级图表访问特定用户的数据。
- 每位用户均可在用户视图页面查看自己的个人数据。