• C级总销量迫近A4L 宝马3系乏力 2019-03-21
  • 西安楼市进入短暂调整期 摇号细则近日将出 2019-03-21
  • 北京学习十九大精神--北京频道--人民网 2019-03-15
  • 临潼区马额镇庙张村西坡组农民饮用黄泥水 2019-03-13
  • 我早就说过,任何时候都不能对美国抱有幻想。否则就是白痴。 2019-03-11
  • 安徽加大就业脱贫力度 确保贫困户至少一人就业 2019-03-07
  • 环保督察点名批评 河北两市治理大沙河河堤垃圾带 2019-02-25
  • E3 2019展会日期确定 今年E3参加人数约69200人 2019-02-25
  • 外贸创新举措 让开放惠及世界 2019-02-22
  • 好莱坞环球影城“功夫熊猫”主题剧院开放 2019-02-22
  • 阜阳五中成功举办第四届社团文化艺术节文艺汇演 2019-02-21
  • 通用航空产业军民融合实现全方位突破 2019-02-21
  • 高培勇任中国社会科学院副院长(图简历) 2019-02-11
  • 撸主脑残,重度三级,鉴定完毕。[哈哈] 2019-02-05
  • 《云冈石窟保护条例》8月实施 刻划涂污文物最高罚200元--旅游频道 2019-02-05
  • 阿里云E-MapReduce + 关注
    手机版

    如何在E-MapReduce上进行Kafka集群间数据复制

    本文介绍如何使用社区的Kafka MirrorMaker工具进行集群间的数据复制。

    大数据 实时系统 配置 集群 消息中间件 request 数据迁移 e-mapreduce Consumer 数据同步 test Create zookeeper kafka 流式

    通过WebUI查看Structured Streaming作业统计信息

    从EMR-3.18.1版本开始,EMR将提供Spark Streaming SQL预览版功能。本次作为新特性的一部分,EMR将扩展现有Spark WebUI,支持Structured Streaming Query的统计信息查看。

    大数据 SQL 数据处理 开源 spark 流式计算 e-mapreduce 分布式计算 EMR last input

    使用Ranger对Hive数据进行脱敏

    Ranger支持对Hive数据的脱敏处理(Data Masking),它对`select`的返回结果进行脱敏处理,对用户屏蔽敏感信息。

    配置 e-mapreduce Hive test Ranger Data-Masking

    开源大数据周刊-第107期

    1月14日,英特尔人工智能大会(AIDC 2018)在北京国贸酒店举行。这是英特尔第三次在中国举行人工智能大会,也是第一次专门面向开发者和技术社区。大会上,英特尔发布了Neural Compute Stick 2(神经计算棒二代),英特尔还...

    云栖社区 深度学习 分布式 安全 hadoop Apache 人工智能 集群 mr spark 开源大数据 kafka big data Livy

    使用ApacheDS对Presto用户进行认证

    Presto可以对接LDAP,实现用户密码认证。只需要Coordinator节点对接LDAP即可。主要步骤如下: 1.配置ApacheDS,启用LDAPS 2. 在ApacheDS中创建用户信息 3. 配置Presto Coordin...

    java hadoop Apache 配置 集群 spark EMR Security ldap presto ApacheDS

    HiveServer2集成LDAP做用户认证

    HiveServer2支持多种认证方式,通过`hive.server2.authentication`参数来设置,包括`nosasl, none, ldap, kerberos, pam, custom` 本文介绍如何在E-MapRe...

    配置 集群 e-mapreduce JDBC Hive Transaction 认证 ldap HiveServer2

    开源大数据周刊-第106期

    Apache Kylin社区于日前宣布:Apache Kylin v2.5.1 正式发布!Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop 之上的 SQL 查询接口及多维分析(OLAP)能力,支持对超大规模数据进行亚...

    云栖社区 深度学习 分布式 架构 算法 hadoop 性能 Apache spark 开源大数据 kylin big data Pulsar MMLSpark

    开源大数据周刊-第105期

    资讯 340亿美元收购红帽,IBM在拥挤的云市场另辟蹊径 Hadoop真的要死了吗?程序员的革命or灾难:机器人在GitHub修复bug、与人不相上下 基于TensorFlow Serving的深度学习在线预估 如期而至!谷歌开源...

    云栖社区 深度学习 分布式 大数据 hadoop 人工智能 spark 流式计算 开源大数据 github TensorFlow 谷歌 NLP Streaming Uber

    开源大数据周刊-第104期

    资讯 谷歌、亚马逊、阿里纷纷入局,边缘计算的潜力如何? 从智能手机到可穿戴设备,从医疗到汽车以及工业制造,边缘计算正在上演一个又一个行业传奇,它的落脚点是要让终端成为更智慧的存在——能够实时处理数据、能够低延时做出反馈——这不就是我...

    云栖社区 深度学习 分布式 大数据 Apache 数据仓库 spark 解决方案 开源大数据

    开源大数据周刊-第103期

    Google宣布在2016年发布的数据可视化工具Data Studio,以及2017年发布的的数据预先处理服务Cloud Dataprep,现在都正式可用。

    大数据 redis 数据可视化 hadoop spark 开源大数据 大数据平台

    SparkSQL自适应执行

    阿里云EMR-3.13.0版本的SparkSQL支持自适应执行功能,用来解决Reduce个数的动态调整/数据倾斜/执行计划的动态优化问题。

    SQL reduce spark e-mapreduce adaptive statistics sparksql

    开源大数据周刊-第99期

    资讯 谷歌重磅开源强化学习框架Dopamine谷歌推出了一款全新的开源强化学习框架 Dopamine,该框架基于 TensorFlow,主打灵活性、稳定性、复现性,能够提供快速的基准测试。 整合AI和数据科学新利器:基于Apac...

    云栖社区 深度学习 消息系统 大数据 安全 redis 架构 机器学习 云计算 hadoop SQL 日志 开源大数据 EMR flink

    开源大数据周刊-第98期

    产品资讯 E-MapReduce 发布新版工作流调度还在困惑怎么管理Hadoop,Hive,Spark等作业和项目,怎么灵活可靠的调度吗?从EMR工作流开始吧 E-MapReduce 发布弹性伸缩当你需要按照时间段弹性的添加计算节点,补...

    大数据 算法 Apache 人工智能 开源 数据流 弹性伸缩 spark 开源大数据 e-mapreduce 数据中心 AI kafka flink ksql

    开源大数据周刊-第97期

    本期周刊带来了开源社区重要的产品更新,包括Flink和Alluxio等,还有互联网一线公司以及传统银行业的最新大数据应用实践。

    大数据 架构 MongoDB Apache 人工智能 数据分析 spark 开源大数据 数据库存储 分布式存储 kylin 推荐引擎

    E-MapReduce上如何采集Kafka客户端Metrics

    我们知道Kafka提供一套非常完善的Metrics数据,覆盖Broker,Consumer,Producer,Stream以及Connect。E-MapReduce通过Ganglia收集了Kafka Broker metrics信息,可以很...

    大数据 分布式系统与计算 Apache 配置 集群 消息中间件 测试 aliyun e-mapreduce EMR timestamp zookeeper bootstrap 存储 kafka

    E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。

    管理员:
    鱼跟猫
    1130
    + 关注
    14
    成员
    203
    文章
  • C级总销量迫近A4L 宝马3系乏力 2019-03-21
  • 西安楼市进入短暂调整期 摇号细则近日将出 2019-03-21
  • 北京学习十九大精神--北京频道--人民网 2019-03-15
  • 临潼区马额镇庙张村西坡组农民饮用黄泥水 2019-03-13
  • 我早就说过,任何时候都不能对美国抱有幻想。否则就是白痴。 2019-03-11
  • 安徽加大就业脱贫力度 确保贫困户至少一人就业 2019-03-07
  • 环保督察点名批评 河北两市治理大沙河河堤垃圾带 2019-02-25
  • E3 2019展会日期确定 今年E3参加人数约69200人 2019-02-25
  • 外贸创新举措 让开放惠及世界 2019-02-22
  • 好莱坞环球影城“功夫熊猫”主题剧院开放 2019-02-22
  • 阜阳五中成功举办第四届社团文化艺术节文艺汇演 2019-02-21
  • 通用航空产业军民融合实现全方位突破 2019-02-21
  • 高培勇任中国社会科学院副院长(图简历) 2019-02-11
  • 撸主脑残,重度三级,鉴定完毕。[哈哈] 2019-02-05
  • 《云冈石窟保护条例》8月实施 刻划涂污文物最高罚200元--旅游频道 2019-02-05