Databricks使将数据引入其“小屋”变得更加容易

 
Databricks今天宣布推出其新的合作伙伴数据摄取网络，并推出其Databricks Ingest服务。这里的想法是使企业更轻松地将最好的数据仓库和数据湖组合到一个平台中-Databricks喜欢将此概念称为“湖水小屋”。
Databricks的Linux基金会管理的开源项目Delta Lake是公司湖边小屋的核心，它为数据湖带来了一个新的存储层，可以帮助用户管理其数据的生命周期，并通过执行架构，记录日志和记录来确保数据质量。更多。 Databricks用户现在可以与Ingestion网络中的​​前五个合作伙伴(Fivetran，Qlik，Infoworks，StreamSets和Syncsort)合作，以将其数据自动加载到Delta Lake。要从这些合作伙伴处获取数据，Databricks客户不必设置任何触发器或时间表，而是可以将数据自动流入Delta Lake。
“直到现在，公司一直被迫将其数据分为传统的结构化数据和大数据，并分别用于BI和ML用例。这导致数据湖和数据仓库中的数据变得孤立，处理速度慢以及部分结果过于延迟或太不完整而无法有效利用。” Databricks联合创始人兼首席执行官Ali Ghodsi说。 “这是向Lakehouse范式转变的众多驱动因素之一，该范本渴望将数据仓库的可靠性与数据湖的规模相结合，以支持各种用例。为了使该体系结构正常工作，需要轻松提取每种类型的数据。DatabricksIngest是实现这一目标的重要一步。”
Databricks产品营销副总裁Bharath Gowda还告诉我，这将使企业更容易对最新数据进行分析，从而在收到新信息时变得更加敏感。他还指出，用户将能够更好地利用其结构化信息和非结构化数据，以建立更好的机器学习模型，并对所有数据执行更传统的分析，而不是数据仓库中的一小部分。