数据探针

  • 已有业务数据收集整理转化为结构化数据:
  • - 收集,整理,对齐,纠错
  • - 图片信息抽取
  • - Excel/word/pdf抽取
  • - 非结构化转结构化
  • - 海量数据有效信息抽取

算法锦囊

  • 对结构化数据进行有效特征的抽取:
  • - 数据筛选:不同业务需求所需数据不同
  • - 数据加工:原始数据的聚合,连接,降维等
  • - 特征抽取:根据不同反向/多轮/自动的优化特征的计算

智能决策

  • 针对优化后特征,针对不同的业务场景:
  • - 选用合适的模型(有监督/无监督/半监督,tree/net/graph)
  • - 持续迭代更新

拼装式流水线

  • 通过灵活可定制流水线嵌入业务:
  • - 支持业务步骤的经常变动
  • - 支持不同业务模块定制,不同功能定制/修改
  • - 辅助决策直接替换现有流程,允许灰度切换,对比
  • - 可视化流程进展

数据是企业数据化转型的第一道门槛!但数据多并不意味着数据好且有效。

传统手工工作集中低效,导致数据处理存在的问题:

  • 数据源多
  • 数据格式多
  • 数据质量参差不齐
  • 数据量大
  • 有效信息隐藏
  • 非结构化数据
  • 各系统间名称不一致

产品功能:

数据探针是基于自然语言处理的海量数据的理解,包括命名体识别,知识图谱,知识向量化等技术。

  • 定向抽取有效信息
  • word/excel/图片信息的抽取
  • 不同系统间信息匹配
  • 纠错

算法是企业数据化转型的第二道门槛!有效数据不能直接使用。

现状:

  • 特征工程在大数据应用中地位斐然,不同类型数据直接一起使用效果通常并不理想
  • 特征工程包括数据筛选(清洗,归一化,数字化,主成分分析等),数据加工(特征转化,聚合,连接,转化等
  • 手工特征工作非常耗时耗力
  • 深度学习的发展使学习任务与特征学习成为一体,自动完成特征抽取
  • 不同类型数据的数字化,向量化转化

产品功能:

算法锦囊包括了目前最先进的特征生成算法,可以根据需要自主选择。

  • 基于embedding的数据向量化技术
  • 基于深度学习的特征学习技术
  • 传统均值,方差,相关系数,互信息,降维等特征选择的方法
  • 传统特征工程:原始数据的聚合,连接,切分,直方图,id化等
  • 特征抽取:根据任务不同反向/多轮/自动的优化特征的计算

深入业务是企业数据化转型的第三道门槛!特征+算法+业务目标=有效决策

现状:

  • 有效决策需要和任务绑定,提高决策效果需要深入理解业务
  • 真实的业务决策通常是综合决策的结果
  • 有效决策需要考虑更宽,更深,更全面的维度,需要合适的特征,以及与任务匹配的算法
  • 真实的业务数据才能训练真实有效的决策模型
  • 真实的效果反馈数据对模型持续更新,才能保证辅助决策系统的持续有效

产品功能:

针对优化后特征,针对不同的业务场景:

  • 可以选用合适的模型(包括有监督,无监督,半监督学习模型,如树模型,神经网络,图模型等)
  • 数据闭环+自动迭代训练系统,保证了模型的持续更新和长时间有效性

业务切换是企业数据化转型的第四道门槛!灵动可监控是新系统切换的必要条件

现状:

  • 历史累积的业务流程不可能瞬间关闭:运营人员需要熟悉新系统,新流程,人员需要重新安排; 外部用户需要时间适应; 业务需要持续进行,不能切断,不能迟缓,否则会产生大量堆积。 线上业务切换相当于给奔跑的汽车换发动机
  • 一次完整的业务切换,包括:
    • 新旧系统同时运行
    • 小流量切换新系统
    • 监控新系统产出效果,效率,以及整体流量是否平稳
    • 新旧系统分桶效果对比,确定是否新系统更优
    • 根据线上小批量评估结果决定继续灰度切换,还是回滚至旧系统
    如此每步都有完整的监控,才能保证整个外部业务的平稳过渡和用户的无感知和无打扰
  • 整体业务切换通常成本和风险太大,一般采取关键节点切换,快速,平滑切入是关键考核点
  • 业务流程经常需要修改,增加或者删减步骤,或修改其中数值和计算方法。 灵动的业务系统才能保证整个系统的持续有效以及成本的可控

产品功能:

拼装式流水线,通过灵活可定制的模块及其组装:

  • 支持业务步骤的经常变动
  • 支持不同业务模块定制,不同功能定制/修改,人工接入修改成本大大降低
  • 允许灰度切换,流量和效果监控,逐步替换现有流程,降低抵触,平滑过渡
  • 可视化流程进展,清晰可见数字化结果如何嵌入业务