|
|
51CTO旗下网站
|
|
移动端

微软开源数据处理引擎 Trill,每天可分析万亿次事件

微软近日开源了数据处理引擎 Trill,它每天能够分析万亿次事件。

作者:h4cd来源:开源中国|2018-12-20 08:39

 

微软近日开源了数据处理引擎 Trill,它每天能够分析万亿次事件。

项目地址:https://github.com/Microsoft/trill

当下每毫秒处理大量数据正成为一种常见的业务需求,此次微软开源的 Trill,据说每秒能够处理高达数十亿事件,它结合了多模式分析支持和一系列其它功能,微软声称其它任何系统都无法完全与之匹敌。它有如下特点:

  • 作为单节点引擎库,任何 .NET 应用程序、服务或平台都可以轻松使用并处理查询。

  • 提供一种时态查询语言,允许用户进行实时和离线数据集复杂查询。

  • 高性能,满足高速度与低延迟。过滤器以每秒数十亿事件的内存带宽速度运行,而分组聚合每秒运行 10 到 1 亿个事件。

该引擎用途广泛,足以处理实时数据和历史数据,目前只有少数几款开源工具拥有同样的能力。

Trill 于 2012 年开始作为 Microsoft Research 的一个研究项目,在 VLDB 和 IEEE Data Engineering Bulletin 等研究论文中进行了广泛的描述。Trill 最早来源于微软以前的服务 StreamInsight,这是一个功能强大的平台,允许开发人员开发和部署复杂的事件处理应用程序。两个系统都基于扩展查询和数据模型,该模型使用时间组件扩展关系模型。

对于用户来说,使用 Trill 与使用任何 .NET 库是一样的,因此不需要脱离 .NET 环境。用户可以将 Trill 嵌入到各种分布式处理基础架构中,例如 Orleans 和微软的 SCOPE 数据处理基础架构的流式版本。

Trill 支持内部应用程序和外部服务,覆盖数千名开发人员,目前已经提供了许多功能强大的流媒体服务,使用场景包括:

  • Financial Fabric

  • Bing Ads

  • Azure Stream Analytics

  • Halo

更详细的分析查看 Microsoft Azure ***软件工程师的这篇文章:

https://azure.microsoft.com/en-us/blog/microsoft-open-sources-trill-to-deliver-insights-on-a-trillion-events-a-day

【编辑推荐】

  1. 微软“木马计”:用你的技术,比你做的还好
  2. 微软发布 Visual Studio Code 1.30 带来大量新功能与改进
  3. Github Octoverse 报告:2018年新的开源项目
  4. Edge投降Chromium!微软王牌浏览器是如何跪倒的
  5. 伯克利开源 Confluo,吞吐量是 Kafka 的 4 到 10 倍
【责任编辑:张燕妮 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

16招轻松掌握PPT技巧

16招轻松掌握PPT技巧

GET职场加薪技能
共16章 | 晒书包

289人订阅学习

20个局域网建设改造案例

20个局域网建设改造案例

网络搭建技巧
共20章 | 捷哥CCIE

645人订阅学习

WOT2019全球人工智能技术峰会

WOT2019全球人工智能技术峰会

通用技术、应用领域、企业赋能三大章节,13大技术专场,60+国内外一线人工智能精英大咖站台,分享人工智能的平台工具、算法模型、语音视觉等技术主题,助力人工智能落地。
共50章 | WOT峰会

0人订阅学习

读 书 +更多

精通ASP+XML+CSS网络开发混合编程

《精通ASP+XML+CSS网络开发混合编程》介绍当前网络开发的主流平台与技术之一的ASP+CSS+XML的知识与应用,全书各知识点均配以实例,按照基础...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO播客