• 有神论跟无神论的差别在哪你都不知道,还要扯啥呢。 2019-05-19
  • 央行就“金融改革与发展”答记者问 2019-05-10
  • 图书馆·情报与文献学 2019-05-10
  • 以专业认证推进落实管办评分离改革 2019-05-07
  • 投诉可以反投诉的,中国人人平等的。 2019-05-06
  • 寻找三秦非遗:二月二,大荔县阿寿村药王庙会赛花馍 2019-05-06
  • 计划不是产生在交换基础上的计划。 2019-05-05
  • 凤凰公映礼之《闪光少女》 2019-05-04
  • [中国新闻]韩朝军方商定重启陆海军事通信渠道 2019-05-02
  • 庆祝中国人民解放军建军90周年大会在京隆重举行 2019-05-02
  • 昌发展:母基金优势可利于构建一体化产业服务链条 2019-05-01
  • 第523期:土鸡蛋VS洋鸡蛋,哪个好?怎样挑? 2019-04-29
  • 十九大代表、海口市公安局琼山分局飞鹰大队大队长冯晖:把十九大精神讲清楚、讲明白 2019-04-25
  • 即使中美贸易归零,中国也不会屈服美国的大棒政策 2019-04-25
  • 沪上台企搭建创业平台 助力两岸青年文创交流 2019-04-24
  • 神奇公式秒杀全国11选5 www.bjux.net 实时计算Flink > 独享模式 > Batch(试用) > 创建源表 —— 创建MetaQ (MQ)源表

    1. 神奇公式秒杀全国11选5>
    2. 博客>
    3. 正文

    实时计算Flink > 独享模式 > Batch(试用) > 创建源表 —— 创建MetaQ (MQ)源表

    李博bluemind 2018-11-14 13:16:48 浏览532 评论0

    摘要: 本页目录 创建MetaQ (MQ)源表 WITH参数 FAQ 创建MetaQ (MQ)源表 消息队列(Message Queue)简称MQ,是阿里云商用的专业消息中间件,是企业级互联网架构的核心产品,基于高可用分布式集群技术,搭建了包括发布订阅、消息轨迹、资源统计、定时(延时)、监控报警等一套完整的消息云服务。

    创建MetaQ (MQ)源表

    消息队列(Message Queue)简称MQ,是阿里云商用的专业消息中间件,是企业级互联网架构的核心产品,基于高可用分布式集群技术,搭建了包括发布订阅、消息轨迹、资源统计、定时(延时)、监控报警等一套完整的消息云服务。MQ的历史已经超过了7年,帮您实现分布式计算场景中所有异步解耦功能,是阿里双11使用的核心产品。

    Flink可以将消息队列作为批处理数据输入,作为批处理输入源时,必须写endTime,否则作业不会正常结束,示例如下。

    
    
    1. create table metaq_batch(
    2. x varchar,
    3. y varchar,
    4. z varchar
    5. ) with (
    6. type='metaq',
    7. topic='blink_dXXXXXXX',
    8. pullIntervalMs='100',
    9. consumerGroup='CID_BLINK_SOURCE_001',
    10. fieldDelimiter='#',
    11. startTime='20180806 00:00:00',
    12. endTime='20180806 01:00:00'
    13. );

    注意:预发环境访问metaq时unitName需要置为pre。

    WITH参数

    参数 注释说明 备注
    topic topic名
    consumerGroup 订阅消费group名
    pullIntervalMs 拉取时间间隔,毫秒
    startTime 可选,消息消费启动的时间点
    unitName 跨单元访问时需指明app所在单元 默认为空,访问预发环境metaq时unitName需要置为pre。
    tag 订阅的标签 可选
    lineDelimiter 解析message body时的行分隔符 可选,默认为?\n。
    fieldDelimiter 字段分隔符 可选,默认为\u0001?,表示?Crtl+A?和?\001,(暂不支持\001写法)。
    encoding 编码格式 可选,默认为?utf-8。
    lengthCheck 单行字段条数检查策略 可选,默认为SKIP。其它可选值为EXCEPTION、PAD。SKIP表示字段数目不符合时跳过 。EXCEPTION表示字段数目不符合时抛出异常。PAD表示按顺序填充,不存在的置为null。
    columnErrorDebug 是否打开调试开关,如果打开,会把解析异常的log打印出来。 可选,默认为false。
    startMessageOffset 可选,消息开始的偏移量 如果填了优先以startMessageoffset的位点开始加载。 1.4.5之后不推荐使用。
    endTime 读取结束时间 以batch方式读取时,endTime必填。

    FAQ

    1. 怎么样自己解析MetaQ表的数据?

      对于有些场景来说,MetaQ表里面存的可能是二进制,或者json格式。如果您希望自己去解析,可以参考自定义源表解析。

    2. MetaQ控制台报警消费堆积怎么办?

      Flink消费MetaQ采用的是pull模式。在pull模式下,metaq控制台的消费堆积报警意义不大,您可以忽略。您可以在bayes平台上配置延迟等指标来监控metaq的消费情况。

    本文转自实时计算——创建MetaQ (MQ)源表

    【云栖快讯】阿里巴巴小程序繁星计划,20亿补贴第一弹云应用立即开通购买,限量从速!  详情请点击

    网友评论

    李博bluemind
    文章2136篇 | 关注1936
    + 关注

  • 有神论跟无神论的差别在哪你都不知道,还要扯啥呢。 2019-05-19
  • 央行就“金融改革与发展”答记者问 2019-05-10
  • 图书馆·情报与文献学 2019-05-10
  • 以专业认证推进落实管办评分离改革 2019-05-07
  • 投诉可以反投诉的,中国人人平等的。 2019-05-06
  • 寻找三秦非遗:二月二,大荔县阿寿村药王庙会赛花馍 2019-05-06
  • 计划不是产生在交换基础上的计划。 2019-05-05
  • 凤凰公映礼之《闪光少女》 2019-05-04
  • [中国新闻]韩朝军方商定重启陆海军事通信渠道 2019-05-02
  • 庆祝中国人民解放军建军90周年大会在京隆重举行 2019-05-02
  • 昌发展:母基金优势可利于构建一体化产业服务链条 2019-05-01
  • 第523期:土鸡蛋VS洋鸡蛋,哪个好?怎样挑? 2019-04-29
  • 十九大代表、海口市公安局琼山分局飞鹰大队大队长冯晖:把十九大精神讲清楚、讲明白 2019-04-25
  • 即使中美贸易归零,中国也不会屈服美国的大棒政策 2019-04-25
  • 沪上台企搭建创业平台 助力两岸青年文创交流 2019-04-24
  • 重庆时时彩彩计划软件手机版 北京pk10计划50期连中 大乐透走势图500期图 玩pk10倾家荡产案例 篮球让分胜负客胜主胜 百家乐包杀 河南泳坛夺金走势图 京东彩票领奖地点 3d彩票 真钱炸金花 北京赛车开奖纪录 吉林时时彩网站 体彩十一运夺金11选5开奖结果 七星彩选号技巧与规律 7星彩走势图带连线100期 香港六合彩全年资料