400 028 6601

建站动态

根据您的个性需求进行定制 先人一步 抢占小程序红利时代

datax环境部署和管理教程

这篇文章主要介绍“datax环境部署和管理教程”,在日常操作中,相信很多人在datax环境部署和管理教程问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”datax环境部署和管理教程”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

建网站原本是网站策划师、网络程序员、网页设计师等,应用各种网络程序开发技术和网页设计技术配合操作的协同工作。创新互联专业提供做网站、成都做网站,网页设计,网站制作(企业站、响应式网站开发、电商门户网站)等服务,从网站深度策划、搜索引擎友好度优化到用户体验的提升,我们力求做到极致!

datax环境部署和管理

前期环境准备

python环境搭建
jdk环境搭建

搭建python环境

https://www.python.org/downloads/source/

搭建jdk环境

省略

部署datax环境

https://github.com/alibaba/DataX
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "long",
                "value": "10"
              },
              {
                "type": "string",
                "value": "hello,你好,世界-DataX"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "UTF-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
       }
    }
  }
}
[root@localhost bin]# python datax.py ../job/stream2stream.json

datax环境部署和管理教程

部署datax-web环境

https://github.com/WeiYe-Jing/datax-web

https://pan.baidu.com/share/init?surl=3yoqhGpD00I82K4lOYtQhg  cpsk
## PYTHON脚本执行位置
#PYTHON_PATH=/home/hadoop/install/datax/bin/datax.py
PYTHON_PATH=/usr/local/datax/bin/datax.py

关于启动日志查看

1、datax-web-2.1.2/modules/datax-executor/bin/console.out
2、datax-web-2.1.2/modules/datax-admin/bin/console.out

到此,关于“datax环境部署和管理教程”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!


网站标题:datax环境部署和管理教程
网站链接:http://mbwzsj.com/article/jpogdh.html

其他资讯

让你的专属顾问为你服务