59859cc威尼斯官网-威尼斯欢乐娱人成app

教育行业A股IPO第一股(股票代码 003032)

传智教育|传智播客

一样的教育,不一样的品质
选择学科

Python+大数据开发Python+大数据开发培训高手班课程

  • JavaEE
  • HTML&JS+前端
  • Python+大数据开发
  • 人工智能开发
  • UI/UE设计
  • App测试
  • 新媒体+短视频直播运营
  • 59859cc威尼斯官网-威尼斯欢乐娱人成app

选择Python+大数据开发培训校区Python+大数据开发

选择Python+大数据开发培训校区Python+大数据开发

选择校区

北京昌平

    • 高级
      App工程师课程

    • 12
      “大厂级”实战项目

    • 80+
      解决方案和技术专题

    • 50
      专职教研团队

    • 65%
      项目课程占比

    • 终身
      职业生态圈

    Python+大数据开发 高薪岗位的代名词

    • 一线城市薪资高
      二三线紧随其后

    • 国家实施大数据战略
      大数据专业人才紧缺

    • 数字经济引领全球
      经济社会发生变革

    • Pyhton+大数据培训平均月薪
    • Python+大数据培训就业前景怎么样?
    • Python+大数据培训后薪资多少钱?

    Python+大数据开发
    就业起点高,职业发展好

    适合人群

    • 0基础转行人员数据课程从Python入手
      简单高效入门快
      适宜零基础人员学习

    • 应届毕业生缺乏工作经验技能
      未来没有明确规划
      通过学习本课入行IT

    • 互联网转行人员目前工作待遇不理想
      市场上升空间有限
      需要突破现状转行

    • 有基础寻求系统提升者具有一定的数据理论或基础
      需要掌握系统数据技术
      在实际业务中如何应用

    6大课程优势 造就数字化人才

    • 适合零基础学员课程由浅入深/数据量由小到大
      逐步掌握各业务场景下的数据处理

    • 热门技术周更新一线大厂行业专家/年亿元级研发投入
      以“周”为单位更新前沿技术

    • 项目驱动式教学多行业多项目实战
      提升实战能力 入职即能快速上手

    • 课程贴合市场需求课程与时俱进不断融入热门技术栈
      打造学完即上岗人才

    • 还原真实工作场景参与真实项目开发流程
      锻炼独立分析、解决问题的能力

    • 积累实际工作经验真实数据业务需求转化
      企业级真项目涵盖14大主流行业

    渐进式课程内容 助你从小白蜕变为数字精英

    Python+大数据开发课程大纲

    • Python基础编程

    • Python编程进阶

    • MySQL

    • 大数据Hadoop技术栈

    • 企业级离线数仓项目
      &数仓项目分组实训

    • Pandas & Spark技术栈

    • Spark离线项目

    • 实时计算基础

    • Spark实时项目

    • 就业引导+就业加强

    • 大数据实时技术栈
      &大数据实时计算项目

    • 毕业后进阶课程

    查看详细课程大纲>Python基础编程课时:8天

    主要内容

    Python基础语法、Python数据处理、函数、文件读写、面向对象、异常处理、模块和包。

    可解决的现实问题

    掌握Python基础语法。

    可掌握的核心能力

    1.掌握Python开发环境基本配置;
    2.掌握运算符、表达式、流程控制语句、数组等的使用;
    3.掌握字符串的基本操作;
    4.初步建立面向对象的编程思维;
    5.熟悉异常捕获的基本流程及使用方式。

    查看详细课程大纲>Python编程进阶课时:10天

    主要内容

    网络编程、多任务编程、高级语法、Python编程综合项目。

    可解决的现实问题

    熟练使用Python。

    可掌握的核心能力

    1.掌握类和对象的基本使用方式;
    2.掌握网络编程技术,能够实现网络通讯;
    3.知道通讯协议原理;
    4.掌握开发中的多任务编程实现方式;
    5.知道多进程多线程的原理。

    查看详细课程大纲>MySQL课时:5天

    主要内容

    MySQL与SQL、Kettle与BI工具、Pymysql。

    可解决的现实问题

    熟练掌握MySQL\SQL、Kettley以及BI工具使用。

    可掌握的核心能力

    1.掌握MySQL数据库的使用;
    2.掌握SQL语法;
    3.掌握Kettle数据迁移工具的使用;
    4.熟练使用BI可视化工具;
    5.对数据开发有一定认知,掌握BI及ETL工程师所具备的基础技能。

    查看详细课程大纲>大数据Hadoop技术栈课时:11天

    主要内容

    Linux、大数据基础和硬件先容、Zookeeper、HDFS、MapReduce、YARN、Hive基础、Hive高阶。

    可解决的现实问题

    1.熟悉Linux操作系统,以及各种Linux命令,实现集群搭建准备;
    2.掌握大数据的核心框架Hadoop以及其生态体系,打下大数据学习的良好基础;
    3.掌握数据仓库理论,掌握Hive框架,为构建企业级数据仓库奠定技术基础。

    可掌握的核心能力

    1.掌握Linux常用命令,为数据开发后续学习打下的良好基础
    2.掌握大数据的核心框架Hadoop以及其生态体系,完成HDFS、MapReduce及Yarn机制基本理解与使用;能够搭建Hadoop高可用HA集群
    3.掌握Hive的使用和调优
    4.具备Hadoop开发能力、离线数据仓库开发能力
    5.能够构建企业级数仓

    查看详细课程大纲>企业级离线数仓项目&数仓项目分组实训课时:15天

    主要内容

    新零售离线数仓项目、在线教育数仓项目。

    可解决的现实问题

    掌握企业级常见数据仓库搭建过程,完成大数据体系下的企业级数据仓库构建。

    可掌握的核心能力

    1.掌握行业离线数仓的分层与建模,从需求、设计、研发、测试到落地上线的完整项目流程;
    2.真实业务逻辑,共涉及20多个主题,100多个指标,提升核心竞争力;
    3.包括海量数据场景下如何优化配置;
    4.拉链表的具体应用;
    5.新增数据和更新数据的抽取和分析;
    6.Hive函数的具体应用;
    7.ClouderaManager可视化、自动部署和配置、Git、CodeReview功能;
    8.使用Git对代码进行管理;
    9提供供新零售大型商超集团的数据存储分析以及服务监控方案。

    查看详细课程大纲>Pandas & Spark技术栈课时:11天

    主要内容

    Pandas及可视化技术、Spark基础、Spark Core、Spark SQL、Structured Streaming、Spark综合案例。

    可解决的现实问题

    Pandas数据处理及可视化技术,掌握全球最热门的Spark技术栈,完成高级大数据开发人才的跃进。

    可掌握的核心能力

    1.掌握Spark的RDD、DAG、CheckPoint等设计思想;
    2.掌握SparkSQL结构化数据处理,Spark On Hive;
    3.掌握Pandas数据处理分析,以及Pandas on Spark;
    4.掌握Structured Streaming整合多数据源完成实时数据处理;
    5.具备Spark全栈开发能力,满足大数据行业多场景统一技术栈的数据开发,提供就业核心竞争力。

    查看详细课程大纲>Spark离线项目课时:9天

    主要内容

    保险行业大数据项目和客快物流离线项目二选一。

    可解决的现实问题

    掌握Spark项目架构及数据流向,完成企业级数仓搭建,实现企业数字化转型;通过项目实战,掌握使用Spark技术完成企业级数仓搭建以及各层指标计算。

    可掌握的核心能力

    1. 快速搭建保险行业大数据平台;
    2. 基于Hive+Spark SQL搭建离线数据仓库;
    3. 基于SparkSQL应对轻松应对复杂的迭代计算;
    4. 完成基于国内头部保险企业大数据项目开发;
    5. 掌握基于Spark分析12亿报单表和8千万客户等数据;
    6. 对保单汇总计算(业务发展类指标,成本费用类指标等),并向业务人员做数据展示;
    7. 掌握基于Elasticsearch标签搜索;
    8.掌握Docker环境部署、管理操作;
    9.掌握基于Oracle + MySQL异构数据源数据处理技术;
    10.掌握基于Oracle Golden Gate以及Canal的实时采集技术;
    11.掌握Kudu + Spark的快速离线数据处理、分析技术;
    12.掌握Kudu + Impala即席数据分析技术;
    13.掌握Kudu、Spark的调优能力。

    查看详细课程大纲>实时计算基础课时:4天

    主要内容

    万亿级NoSQL海量数据存储、Flume实时数据采集、分布式流处理平台、NoSQL。

    可解决的现实问题

    掌握NoSQL与实时计算中组件,数据开发工程师重要技能。

    可掌握的核心能力

    1.掌握HBase原理及架构;
    2.掌握HBase命令操作、MapReduce编程;
    3.掌握Phoneix二级索引优化查询;
    4.掌握Kafka原理及架构。

    查看详细课程大纲>Spark实时项目课时:8天

    主要内容

    保险行业大数据项目和客快物流实时项目二选一。

    可解决的现实问题

    掌握Spark项目架构及数据流向,完成企业级画像平台搭建或实时平台搭建,实现企业数字化转型;通过项目实战,掌握使用Spark技术完成企业级画像平台搭建或Spark实时技术使用。

    可掌握的核心能力

    1.用户画像架构设计;
    2.基于Hbase存储业务数据库数据;
    3.基于SparkSQL应对轻松应对标签的计算;
    4.完成基于国内头部保险企业大数据项目开发;
    5.掌握基于MySQL的五级标签构建;
    6.对统计类标签,规则类标签进行代码封装;
    7.掌握基于Elasticsearch全文检索技术;
    8.掌握Docker环境部署、管理操作;
    9.掌握基于Oracle + MySQL异构数据源数据处理技术;
    10.掌握基于Oracle Golden Gate以及Canal的实时采集技术;
    11.掌握基于ClickHouse高性能存储、计算引擎技术;
    12.掌握基于Elasticsearch的全文检索技术;
    13.掌握Kudu、Spark的调优能力;
    14.掌握基于Spring Cloud的数据微服务接口开发技术。

    查看详细课程大纲>就业引导+就业加强课时:5天

    主要内容

    SQL实战、Hive数据分析与面试题加强、Spark数据分析与面试题加强、NoSQL数据分析与面试题加强、大数据多行业架构剖析。

    可解决的现实问题

    对学习的内容进行整体回顾,并分析经典面试题,引导简历,面试和沟通技巧助力高薪offer。

    可掌握的核心能力

    1.强化面试就业核心面试题;
    2.梳理大数据架构及解决方案;
    3.剖析多行业大数据架构。

    查看详细课程大纲>大数据实时技术栈&大数据实时计算项目课时:14天

    主要内容

    星途车联网Flink实时项目、今日指数证券Flink实时项目和客快物流Flink实时项目三选一。

    可解决的现实问题

    掌握当下热门的流批一体化分布式计算框架Flink及其生态,适应市场对Flink越发增长的需求;掌握基于Flink全栈进行快速OLAP分析,完成企业级实时项目构建。

    可掌握的核心能力

    1.掌握基于Flink进行实时和离线数据处理、分析;
    2.掌握基于Flink的多流并行处理技术;
    3.掌握千万级高速实时采集技术;
    4.掌握基于Flink全栈进行快速OLAP分析;
    5.掌握实时高性能海量数据分析与存储;
    6.掌握针对HBase调优实现HBase存储调优;
    7.掌握数据报表分析;
    8.掌握业务数据实时大屏场景实现。

    查看详细课程大纲>毕业后进阶课程课时:240天

    主要内容

    Python数据分析、Python后端开发、Scala on Spark、Java on Flink、Flink实时计算高级进阶。

    可解决的现实问题

    在工作后,赠送超240天的课程,进阶课程持续更新、终身受益。

    可掌握的核心能力

    1.数据分析专项课,无论从事大数据开发、还是专门从事数据分析,升职挑战高薪必备技能;
    2.如果你最终想成为融汇前后端运维测试的技术总监,那么请在工作之余学习Python后端开发这套课程;
    3.Scala虽然式微,但如果你即将加入的团队还在使用Scala进行Spark开发,请快速学习;
    4.阿里为首的一线大厂已经开始采用Python on Flink的技术选型,但还是有部分团队采用Java on Flink,如果需要请快速学习;
    5.价值超过万元的Flink实时计算高级进阶课程,助力在职的你持续挑战高薪。

    企业级真项目课程 快速提升实战能力

    【金融保险】富华阳光保险【工业物联网】一站制造【新零售】亿品新零售大数据平台

    • 富华阳光保险

      110指标数量

      40亿数据量

      10解决方案

      6课程天数

      保险精算项目需要计算海量明细保单数据,以便生成财务报表。项目使用SparkSQL来计算,时效大大提高,增强保险企业的商业信誉。项目将多部门的业务数据库同步到hive数据集市,使用SparkSQL加载源数据表(保单表12亿保单,客户表8千万客户等),计算保单的保费、现金价值、准备金等明细,提供给财务部门收费或支出,最后对保单汇总计算(业务发展类指标,成本费用类指标等),并向业务人员做数据展示。马上体验

    • 一站制造

      300+指标数量

      30亿数据量

      11解决方案

      8课程天数

      通过大数据技术架构,解决工业物联网石油制造行业的数据存储和分析、可视化、个性化推荐问题。一站制造项目主要基于hive数仓分层来存储各个业务指标数据,基于sparksql做数据分析。核心业务涉及运营商、呼叫中心、工单、油站、仓储物料。马上体验

    • 亿品新零售

      300+指标数量

      1095亿数据量

      20解决方案

      8课程天数

      本项目基于一家大型连锁超市研发的大数据分析平台。是第一个深度使用Presto的项目,为后续Presto相关课程的研发打下了坚实的基础,也为学员的就业拓宽了道路;真实的数据结构,复杂的SQL实现过程,学生学习以后可以达到离线数仓的高级开发水平。马上体验

    百万级课程环境配置 大规模真数据体验

    学习大数据,你见过真的海量数据吗?你操作过真的【大规模集群】吗?你接触过真的【云服务】吗?这一切,在黑马程序员都将实现真接触!

    黑马程序员与知名云平台厂商—UCloud达成深度合作。为学生提供大规模服务器
    集群进行实战,硬件规模达到:

    *以上资源,年成本近百万,但黑马完全免费提供给每位学生使用
    真正让每个学生都能接触【真·大规模集群】和【真·大规模数据】

    数据开发技术解决方案 快速搞定工作难题

    解决方案是什么?

    相同的工作场景,开发不必从零开始,解决方案可以拿来即用。黑马整合紧跟市场趋势,建立“Python+大数据开发解决方案库”,80+技术解决方案,覆盖职场常见技术难题,让学员成为团队技术问题解决最高效的人。

    • 大数据存储解决方案【车联网行业】

      涵盖完整车联网业务场景,包含驾驶行程、电子围栏、远程诊断等真实业务通过 QBOX 车辆终端数据收集,并解析为 QSP 数据、QCS 数据、充电数据、HU 数据提供实时计算服务与离线计算服务,并通过 API 接口以报表和大屏展示分析结果数据

    • 大数据离线分析解决方案【知行教育行业】

      建立集团数据仓库,统一集团数据中心,把分散的业务数据集中存储和处理 项目从需求调研、设计、版本控制、研发、测试到落地上线,涵盖了项目的完整工序挖掘分析海量用户行为数据,定制多维数据集合,形成数据集市,供各个场景主题使用

    • 大数据实时分析解决方案【今日指数行业】

      实时监控证券市场的市场每日的业务交易,实现对证券市场交易数据的统计分析搭建监察预警体系,包括:预警规则管理,实时预警,历史预警,监察历史数据分析等股市行情交易数据实时采集、实时数据分析、多维分析,即席查询,实时大屏监控展示高性能处理,流处理计算引擎采用的是 Flink,实时处理 100 万笔/s 的交易数据

    • 大数据调度解决方案【车联网行业】

      涵盖完整车联网业务场景,包含驾驶行程、电子围栏、远程诊断等真实业务通过 QBOX 车辆终端数据收集,并解析为 QSP 数据、QCS 数据、充电数据、HU 数据提供实时计算服务与离线计算服务,并通过 API 接口以报表和大屏展示分析结果数据

    • 大数据BI解决方案【物流行业】

      基于一家大型物流企业研发的智慧物流大数据平台,日订单上千万,围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据信息等 ,提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求,并针对数据分析结果,提出具有中观引导意义的解决方案

    • 大数据OLAP解决方案【物流行业】

      基于一家大型物流企业研发的智慧物流大数据平台,日订单上千万,围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据信息等 ,提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求,并针对数据分析结果,提出具有中观引导意义的解决方案

    • 大数据数据采集解决方案【物流行业】

      基于一家大型物流企业研发的智慧物流大数据平台,日订单上千万,围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据信息等 ,提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求,并针对数据分析结果,提出具有中观引导意义的解决方案

    • 大数据用户画像解决方案【电商行业】

      基于垂直电商平台构建的用户全方位画像,完整抽取出一个用户的信息全貌 ,业务围绕商品、订单、用户基础信息及行为信息等数据,实现用户和商品基础标签、组合标签、微观画像、标签查询等业务场景,提供了企业级多 方位业务决策分析。

    • 数据分析多场景解决方案【多个行业】

      数据分析不仅是(大)数据开发中重要流程,也是(大)数据开发的最终目的;越来越多的企业要求(大)数据工程师承担部分数据 分析的工作

    • 金融授信产品风控建模解决方案【金融行业】

      信用风险是金融监管机构重点关注的风险,关乎金融系统运行的稳定。在实际业务开展和模型构建过程中,面临着高维稀疏特征以及样本不平衡等各种问题,如何应用机器学习等数据挖掘方法提高信用风险的评估和预测能力,是各家金融机构积极探索的方向。

    项目实战流程 还原真实职场氛围

    • 1项目启动

      确定项目方向目标需求调研

    • 2业务需求

      需求分析需求分解

    • 3设计阶段

      架构设计技术选型数据生命周期数据来源数据分层

    • 4开发上线

      小组开发环境搭建数据采集数仓建设定时任务主题开发代码提交文档撰写数据回测

    Python+大数据开发 免费教程资源分享

    Python+大数据开发
    学习路线图

    自学必看零基础最新版

    免费领取视频教程、重难点技术解析、学习工具、学习笔记等

    马上前往学习 >
    • 大数据数据开发基础MySQL8.0从入门到精通

      12401人学习初级

    • 2022版大数据Hadoop入门教程

      14732人学习初级

    • 大数据离线数据仓库,企业级在线教育项目实战(Hive数仓项目完整流程)

      4150人学习中级

    • Python入门到精通(19天全)

      323327人学习初级

    • python进阶之Mysql入门教程

      61155人学习中级

    • 大数据spark3.2从基础到精通

      8803人学习中级

    • 大数据Hive+Spark离线数仓工业项目实战

      3401人学习中级

    • 数据分析入门教程|300分钟用Matplotlib打造疫情展示地图

      50135人学习中级

    随着初级程序员趋于饱和,中高级程序员缺口变大,IT培训行业原来就业培训课程难以适应未来的就业竞争。

    传智教育推出高级App工程师就业培训课程,定位培养中高级程序员。Python+大数据开发课程有11大行业12个“大厂”级项目,400+业务指标,220+技术点,12个企业级项目授课时间就超150天(每周上5天课)。其课程容量、技术深度、项目广度均超其他机构6个月培训课程50%以上,大大提升学员的就业竞争力。查看更多 >

    课程大纲

    1. 基础班

      1. Python基础编程

    2. 高手班

      1. Python编程进阶 2. MySQL 3. 大数据Hadoop技术栈 4. 项目一:企业级离线数仓 5. 项目二:数仓项目分组实训 6. Pandas技术栈 7. Spark技术栈 8. 项目三:Spark离线项目(2选1)保险行业大数据项目 9. 项目三:Spark离线项目(2选1)客快物流项目 10. 实时计算基础 11. 项目四:Spark实时项目(2选1)保险行业用户画像项目 12. 项目四:Spark实时项目(2选1)客快物流实时项目 13. 就业引导+就业加强 14. 大数据实时技术栈 15. 项目五:大数据实时计算项目(3选1)星途车联网Flink实时项目 16. 项目五:大数据实时计算项目(3选1)今日指数证券Flink实时项目 17. 项目五:大数据实时计算项目(3选1)客快物流Flink实时项目

    3. 进阶课

      1. 进阶课程

    4. $versionDesc

    • Python基础编程基础班 1

      课时:8天技术点:52项测验:1次学习方式:线下面授

      学习目标

      1.掌握Python开发环境基本配置| 2.掌握运算符、表达式、流程控制语句、数组等的使用| 3.掌握字符串的基本操作| 4.初步建立面向对象的编程思维| 5.熟悉异常捕获的基本流程及使用方式|

      主讲内容

      1. Python基础语法零基础学习Python的开始,包含了以下技术点:

      1.变量| 2.标识符和关键字| 3.输入和输出| 4.数据类型转换| 5.PEP8编码规范| 6.比较/关系运算符| 7.if判断语句语法格式| 8.三目运算符| 9.while语句语法格式| 1.while 循环嵌套| 11.break 和 continue| 12.while 循环案例| 13.for循环|

      2. Python数据处理掌握Python的数据类型,并对其进行操作处理,包含了以下技术点:

      1.字符串定义语法格式| 2.字符串遍历| 3.下标和切片| 4.字符串常见操作| 5.列表语法格式| 6.列表的遍历| 7.列表常见操作| 8.列表嵌套| 9.列表推导式| 1.元组语法格式| 11.元组操作| 12.字典语法格式| 13.字典常见操作| 14.字典的遍历|

      3. 函数能够实现Python函数的编写,包含了以下技术点:

      1.函数概念和作用、函数定义、调用| 2.函数的参数| 3.函数的返回值| 4.函数的注释| 5.函数的嵌套调用| 6.可变和不可变类型| 7.局部变量| 8.全局变量| 9.组包和拆包、引用|

      4. 文件读写能够使用Python对文件进行操作,包含了以下技术点:

      1.文件的打开与关闭、文件的读写| 2.文件、目录操作及案例| 3.os模块文件与目录相关操作|

      5. 面向对象从逐步建立起面向对象编程思想,再到会使用对象,到创建对象,再到真正理解为什么封装对象,包含了以下技术点:

      1.面向对象先容| 2.类的定义和对象的创建| 3.添加和获取对象属性| 4.self 参数| 5.init方法| 6.继承| 7.子类方法重写| 8.类属性和实例属性| 9.类方法、实例方法、静态方法|

      6. 异常处理主要先容了在Python编程中如何处理异常,包含了以下技术点:

      1.异常概念| 2.异常捕获| 3.异常的传递|

      7. 模块和包主要先容了Python中的模块和包的体系,以及如何使用模块和包,包含了以下技术点:

      1.模块先容| 2.模块的导入| 3.包的概念| 4.包的导入| 5.模块中的..all..| 6.模块中..name..|

    • Python编程进阶高手班 1

      课时:10天技术点:30项测验:1次学习方式:线下面授

      学习目标

      1.掌握面向对象编程能力及思想| 2.掌握Python高级语法特性| 3.掌握开发中的多任务编程实现方式| 4.知道多进程多线程的原理| 5.掌握网络编程技术,能够实现网络通讯| 6.知道通讯协议原理| 7.掌握日志的使用| 8.能够使用Python对数据进行处理开发|

      主讲内容

      1. 网络编程主要学习通讯协议,以及Python实现TCP、HTTP通讯,包含了以下技术点:

      1.IP地址的先容| 2.端口和端口号的先容| 3.TCP的先容| 4.Socket的先容| 5.TCP网络应用的开发流程| 6.基于TCP通信程序开发|

      2. 多任务编程主要学习Python中多线程、多进程,包含了以下技术点:

      1.多任务先容| 2.多进程的使用| 3.多线程的使用| 4.线程同步|

      3. 高级语法主要学习Python的高级语法,包含以下技术点:

      1.闭包| 2.装饰器| 3.迭代器| 4.深浅拷贝| 5.正则|

      4. Python编程综合项目通过前边所学常识,完成综合案例,锻炼编程能力、培养编程思维

      1. Python编程综合项目|

    • MySQL高手班 2

      课时:5天技术点:36项测验:1次学习方式:线下面授

      学习目标

      1. 掌握MySQL数据库的使用| 2. 掌握SQL语法| 3. 掌握Kettle数据迁移工具的使用| 4. 熟练使用BI可视化工具| 5. 对数据开发有一定认知,掌握BI工程师所具备的基本技能|

      主讲内容

      1. MySQL与SQL零基础小白通过MySQL数据库,掌握核心必备SQL,包含了以下技术点:

      01_数据库概念和作用| 02_MySQL数据类型| 03_数据完整性和约束| 04_数据库、表基本操作命令| 05_表数据操作命令| 06_where子句| 07_分组聚合| 08_连接查询| 09_外键的使用|

      2. Kettle与BI工具使用Kettle做数据迁移,通过BI工具展示excel、MySQL中的数据,包含了以下技术点:

      01_Kettle基本操作| 02_Kettle数据转换| 03_Kettle使用SQL脚本组件| 04_kettle Job开发| 05_FineBI基本操作| 06_FineBI常用图表| 07_FineBI仪表板| 08_综合案例|

      3. PymysqlPython与数据库交互,主要学习PyMySQL包

      01. 环境搭建| 02. Python操作数据库|

      4. Python编程综合项目通过前边所学常识,完成综合案例,锻炼编程能力、培养编程思维

      01. Python编程综合项目|

    • 大数据Hadoop技术栈高手班 3

      课时:11天技术点:46项测验:0次学习方式:线下面授

      学习目标

      1.掌握Linux常用命令,为数据开发后续学习打下的良好基础| 2.掌握大数据的核心框架Hadoop以及其生态体系,完成HDFS、MapReduce及Yarn机制基本理解与使用;能顾搭建Hadoop高可用HA集群| 3.掌握Hive的使用和调优| 4.具备Hadoop开发能力、离线数据仓库开发能力| 5.能够完成基本构建企业级数仓|

      主讲内容

      1. Linux掌握Linux操作系统常用命令和权限管理

      01_Linux命令使用| 02_Linux命令选项的使用| 03_远程登录和远程拷贝| 04_Linux权限管理| 05_vi编辑器使用| 06_集群搭建准备|

      2. 大数据基础和硬件先容进一步阐述大数据特点与分布式思想,常识点由浅入深,包含了以下技术点:

      1.大数据的特点| 2.分布式存储概念| 3.分布式计算的概念| 4.服务器种类先容、机架、交换机| 5.网络拓扑、Raid、IDC数据中心|

      3. Zookeeper分布式App管家,实现了集群管理与leader选举,包含了以下技术点:

      1.Zookeeper的应用场景| 2.架构和原理| 3.存储模型| 4.选举机制| 5.客户端操作| 6.ZK集群搭建|

      4. HDFS分布式文件系统,解决了海量数据存储与容错,包含了以下技术点:

      1.HDFS设计的特点| 2.Master-Slave架构| 3.Block块存储、RF拷贝因子、机架感知| 4.Block拷贝策略、读写流程| 5.HDFS Federation、HDFS Snapshots、NameNode HA架构和原理| 6.HDFS管理员常用操作、HDFS权限控制| 7.HDFS普通集群以及HA集群搭建|

      5. MapReduce分布式计算系统,解决海量数据的计算,包含了以下技术点:

      1.MapReduce架构和原理| 2.Split机制| 3.MapReduce并行度| 4.Combiner机制、 5.Partition机制、自定义Partition| 6.MapReduce序列化、自定义排序、数据压缩|

      6. YARN分布式资源调度管理器,管理服务器App资源,包含了以下技术点:

      1.Yarn原理和架构| 2.Yarn高可用| 3.Container资源的封装(CPU、内存和IO)| 4.资源调度策略(FIFO、Fair和Capacity)| 5.YARN高可用模式搭建|

      7. Hive基础数据仓库Hive,实现企业级数仓必备工具,包含以下常识点:

      1.HQL操作| 2.数据类型| 3.分区、分桶、临时表| 4.explain实行计划详解|

      8. Hive高阶数据仓库Hive高阶原理和架构深入,实现企业级数仓优化,包含以下常识点:

      1.Hive原理和架构| 2.Meta Store服务| 3.HiveServer内置函数| 4.自定义UDF和UDAF| 5.数据压缩、存储格式、自动化脚本、常见性能优化|

    • 项目一:企业级离线数仓高手班 4

      课时:10天技术点:120项测验:0次学习方式:线下面授

      学习目标

      1.掌握离线数仓的分层与建模,从需求、设计、研发、测试到落地上线的完整项目流程| 2.行业内首个深度使用Presto的项目| 3.包括海量数据场景下如何优化配置| 4.拉链表的具体应用| 5.新增数据和更新数据的抽取和分析| 6.提供新零售大型商超集团的数据存储分析以及服务监控方案| 7.使用Git对代码进行管理|

      本项目基于一家大型连锁超市研发的大数据分析平台。黑马第一个深度使用Presto的项目,打下了坚实的项目实操能力,也为学员的就业拓宽了道路;真实的数据结构,复杂的SQL实现过程,学生学习以后可以达到离线数仓的高级开发水平。

      进入项目体验
      主讲解决方案

      掌握离线数仓的分层与建模、大数据量场景下如何优化配置,拉链表的具体应用,新增数据的抽取和分析,更新数据的抽取和分析,以及Hive函数的具体应用等。ClouderaManager可视化、自动部署和配置、Git的CodeReview功能保证项目高质量 离线数仓的分层与建模 项目涉及20多个主题,100多个指标场景 帆软BI企业级报表展示

      主讲常识点

      1.大数据部署运维:Cloudera Manager 2.分析决策需求:数据仓库 3.数据采集:sqoop 4.数据分析:Hive+presto 5.历史数据快照:拉链表 6.数据更新后的统计分析:拉链表 7.数据调度:oozie+shell 8.OLAP系统存储:MySQL 9.FineBI数据展示

    • 项目二:数仓项目分组实训高手班 5

      课时:5天技术点:120项测验:0次学习方式:线下面授

      学习目标

      1.掌握行业离线数仓的分层与建模,从需求、设计、研发、测试到落地上线的完整项目流程 2.真实业务逻辑,共涉及20多个主题,100多个指标,提升核心竞争力 3.包括海量数据场景下如何优化配置 4.拉链表的具体应用 5.新增数据和更新数据的抽取和分析 6.Hive函数的具体应用 7.ClouderaManager可视化、自动部署和配置、Git、CodeReview功能

      1、建立集团数据仓库,统一集团数据中心,把分散的业务数据集中存储和处理 2、项目从需求调研、设计、版本控制、研发、测试到落地上线,涵盖了项目的完整工序 3、挖掘分析海量用户行为数据,定制多维数据集合,形成数据集市,供各个场景主题使用。

      进入项目体验
      主讲解决方案

      项目先容与环境准备、数据仓库的建模和分层、OLTP、ODS、DWD实现、Presto、DWB实现、DWS实现、DM、RPT、导出实现、Oozie架构与部署及使用。使用Hive、Presto、Oozie、数仓技术栈,提供新零售大型商超集团的数据存储分析以及服务监控方案

      主讲常识点

      1.大数据部署运维:Cloudera Manager 2.分析决策需求:数据仓库 3.数据采集:sqoop 4.数据分析:Hive 5.历史数据快照:拉链表 6.数据更新后的统计分析:拉链表 7.数据调度:ds 8.OLAP系统存储:MySQL 9.FineBI数据展示 10.Git代码管理

    • Pandas技术栈高手班 6

      课时:3天技术点:48项测验:1次学习方式:线下面授

      学习目标

      1.掌握离线数仓的分层与建模,从需求、设计、研发、测试到落地上线的完整项目流程 2.行业内首个深度使用Presto的项目 3.包括海量数据场景下如何优化配置 4.拉链表的具体应用 5.新增数据和更新数据的抽取和分析 6.提供新零售大型商超集团的数据存储分析以及服务监控方案 7.使用Git对代码进行管理

      主讲内容

      1. Pandas及可视化技术Pandas数据处理及可视化技术,包含以下技术点:

      01. Pandas数据结构和数据类型| 02. 索引及列的操作| 03. Dataframe数据的增删改查操作| 04. Pandas常用计算函数| 05. 缺失值处理| 06. 分组、分箱、合并与变形操作| 07. DF的读取与保存以及与数据库的交互| 08. Pandas Matplotlib、Pyecharts可视化| 09. Pandas项目开发实战|

    • Spark技术栈高手班 7

      课时:8天技术点:130项测验:1次学习方式:线下面授

      学习目标

      1.掌握Spark的RDD、DAG、CheckPoint等设计思想| 2.掌握SparkSQL结构化数据处理,Spark On Hive| 3. 掌握Pandas数据处理分析,以及Pandas on Spark| 4.掌握Structured Streaming整合多数据源完成实时数据处理| 5.具备Spark全栈开发能力,满足大数据行业多场景统一技术栈的数据开发,提供就业核心竞争力|

      主讲内容

      1. Spark基础本阶段学习Spark环境搭建及以下常识点

      1.Spark基础环境搭建 2.Spark的Standalone环境搭建 3.Spark的StandaloneHA搭建 4.SparkOnYarn环境搭建

      2. Spark Core整个spark框架核心部分,掌握框架内部设计思想,数据流转步骤,是学习spark的基础模块,包含了以下技术点:

      1.Spark架构和原理(运行机制、Driver和Executor、spark任务提交流程) 2.RDD开发和原理(Partition、Task、RDD的依赖关系、RDD的容错机制、RDD的存储级别、RDD的缓存机制)广播变量 3.DAG原理(DAG思想、DAG的生成、DAG的处理过程)

      3. Spark SQL学习spark框架的SQL操作,spark与Hive、HBase等外部数据源的整合操作,包含了以下技术点:

      1.Spark SQL架构和原理 2.DataFrame、DataSet DSL和SQL开发 3.Spark多数据源整合(txt、CSV、Json、parquet、JDBC、Hive) 4.Spark SQL实行计划原理 5.Spark SQL性能调优

      4. Structured StreamingSpark实时计算

      1.流式处理基本概念及应用场景 2.Structured Streaming架构 3.Structured Streaming基本使用 4.Structured Streaming与其他组件配合使用

      5. Spark综合案例践行场景式教学,运用了Spark阶段常识点,使用lambda加解决数据分析的应用,包含了以下技术点:

      Spark综合案例实战

    • 项目三:Spark离线项目(2选1)保险行业大数据项目高手班 8

      课时:9天技术点:100项测验:0次学习方式:线下面授

      学习目标

      1. 快速搭建保险行业大数据平台| 2. 基于Hive+Spark SQL搭建离线数据仓库| 3. 基于SparkSQL应对轻松应对复杂的迭代计算| 4. 完成基于国内头部保险企业大数据项目开发| 5. 掌握基于Spark分析12亿报单表和8千万客户等数据| 6. 对保单汇总计算(业务发展类指标,成本费用类指标等),并向业务人员做数据展示| 7. 掌握基于Elasticsearch标签搜索|

      保险精算项目需要计算海量明细保单数据,以便生成财务报表。项目使用SparkSQL来计算,时效大大提高,增强保险企业的商业信誉。项目将多部门的业务数据库同步到Hive数据集市,使用SparkSQL加载源数据表(保单表12亿保单,客户表8千万客户等),计算保单的保费、现金价值、准备金等明细,提供给财务部门收费或支出,最后对保单汇总计算(业务发展类指标,成本费用类指标等),并向业务人员做数据展示

      进入项目体验
      主讲解决方案

      项目核心架构和业务流程、Hive数仓建模 、Sqoop数据同步开发 DolphinScheduler任务调度、使用lag,sum等窗口函数 、使用UDAF函数计算有效保单数字段、计算现金价值、计算和准备金、分区表的使用 、指标汇总计算 、Shuffle优化、Elasticsearch搜索。

      主讲常识点

      基于Spark轻松应对保险复杂的迭代计算;以及用户画像

    • 项目三:Spark离线项目(2选1)客快物流项目高手班 9

      课时:9天技术点:130项测验:0次学习方式:线下面授

      学习目标

      1.掌握Docker环境部署、管理操作| 2.掌握基于Oracle + MySQL异构数据源数据处理技术| 3.掌握基于Oracle Golden Gate以及Canal的实时采集技术| 4.掌握Kudu + Spark的快速离线数据处理、分析技术| 5.掌握Kudu + Impala即席数据分析技术| 6.掌握Kudu、Spark的调优能力|

      基于一家大型物流企业研发的智慧物流大数据平台,日订单上千万,围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据信息等,提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求,并针对数据分析结果,提出具有中观引导意义的解决方案。

      进入项目体验
      主讲解决方案

      涵盖离线业务和实时业务、ClickHouse实时存储和计算引擎、 Kudu + Impala准实时分析系统、基于Docker搭建异构数据源、以企业主流的Spark生态圈为核心技术(Spark、Spark SQL、Structured Streaming)、ELK全文检索、Spring Cloud数据微服务开发、实时监控地图开发、存储和计算性能调优、还原企业搭建大数据平台的完整过程。

      主讲常识点

      1.基于Oracle + MySQL异构数据源数据处理技术 2.基于Kudu + Spark的快速离线数据处理、分析技术 3.基于Kudu + Impala即席数据分析技术 4.学会基于ClickHouse高性能存储、计算引擎技术 5.掌握基于ELK的全文检索技术

    • 实时计算基础高手班 10

      课时:4天技术点:61项测验:0次学习方式:线下面授

      学习目标

      1.掌握HBase原理及架构| 2.掌握HBase命令操作、MapReduce编程| 3.掌握Phoneix二级索引优化查询| 4.掌握ELK开发掌握Kafka原理及架构|

      主讲内容

      1. 万亿级NoSQL海量数据存储存储海量数据的列式数据库,内部高效设计解决了海量数据存储,包含了以下技术点:

      1.HBase原理及架构| 2.预分区、LSM结构| 3.Bloom Filter,co-processor,结合Phoneix进行优化查询|

      2. Flume实时数据采集掌握Flume的使用方法

      1.Flume原理及架构| 2.Source-Sink-Channal| 3.文件数据源及相关配置| 4.Flume断点续传|

      3. 分布式流处理平台分布消息队列存储数据,应用于低延时实时场景,包含了以下技术点:

      1.Kafka原理及架构分析| 2.分布式实时计算架构和思想|

      4. NoSQL社交场景大数据分析实战践行场景式教学,运用了NoSQL阶段常识点,解决实时数据分析的应用,包含了以下技术点:

      1.社交App场景实战| 2.社交大数据架构剖析| 3.数据采集| 4.数据ETL| 5.数据分析|

    • 项目四:Spark实时项目(2选1)保险行业用户画像项目高手班 11

      课时:8天技术点:130项测验:0次学习方式:线下面授

      学习目标

      1. 用户画像架构设计| 2. 基于Hbase存储业务数据库数据| 3. 基于SparkSQL应对轻松应对标签的计算| 4. 完成基于国内头部保险企业大数据项目开发| 5. 掌握基于MySQL的五级标签构建| 6. 对统计类标签,规则类标签进行代码封装| 7. 掌握基于Elasticsearch全文检索技术|

      保险行业用户画像是基于金融保险数仓平台之上进行设计和开发,是面向投保用户的偏好、行为习惯和人口属性的画像还原,同时也包括对投保信息的画像还原。提供用户喜好和保险特征帮助营销平台提升保险营销的精准度,也方便个性化推荐系统快速准确的为每个用户推荐相关的商品。

      进入项目体验
      主讲解决方案

      项目核心架构和业务流程、Hbase数据同步开发,DolphinScheduler任务调度、Web标签管理平台、UDF函数计算、统计类标签、规则类标签、挖掘类标签等汇总计算 、Elasticsearch搜索。

      主讲常识点

      基于SparkSQL轻松应对保险行业复杂用户标签计算

    • 项目四:Spark实时项目(2选1)客快物流实时项目高手班 12

      课时:8天技术点:130项测验:0次学习方式:线下面授

      学习目标

      1.掌握Docker环境部署、管理操作| 2.掌握基于Oracle + MySQL异构数据源数据处理技术| 3.掌握基于Oracle Golden Gate以及Canal的实时采集技术| 4.掌握基于ClickHouse高性能存储、计算引擎技术| 5.掌握基于ELK的全文检索技术| 6.掌握Kudu、Spark的调优能力| 7.掌握基于Spring Cloud的数据微服务接口开发技术|

      基于一家大型物流企业研发的智慧物流大数据平台,日订单上千万,围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据信息等,提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求,并针对数据分析结果,提出具有中观引导意义的解决方案。

      进入项目体验
      主讲解决方案

      涵盖离线业务和实时业务、ClickHouse实时存储和计算引擎、 Kudu + Impala准实时分析系统、基于Docker搭建异构数据源、以企业主流的Spark生态圈为核心技术(Spark、Spark SQL、Structured Streaming)、ELK全文检索、Spring Cloud数据微服务开发、实时监控地图开发、存储和计算性能调优、还原企业搭建大数据平台的完整过程。

      主讲常识点

      1.基于Oracle + MySQL异构数据源数据处理技术 2.基于Kudu + Spark的快速离线数据处理、分析技术 3.基于Kudu + Impala即席数据分析技术 4.学会基于ClickHouse高性能存储、计算引擎技术 5.掌握基于ELK的全文检索技术

    • 就业引导+就业加强高手班 13

      课时:5天技术点:60项测验:1次学习方式:线下面授

      学习目标

      1.强化面试就业核心面试题| 2.梳理大数据架构及解决方案| 3.剖析多行业大数据架构|

      主讲内容

      1. SQL实战解决Python大数据常见的SQL面试题,包含了以下技术点:

      1.面试题必备SQL实战| 2.SQL优化加强|

      2. Hive数据分析与面试题加强解决Hive数据分析开发必备面试题,包含了以下技术点:

      1.Hive基础| 2.Hive拉链表| 3.Hive数据仓库构建示例| 4.Hive面试题|

      3. Spark数据分析与面试题加强解决Spark开发必备面试题,包含了以下技术点:

      1.Spark基础| 2.Spark离线分析| 4.Spark面试题|

      4. NoSQL数据分析与面试题加强解决NoSQL常见的面试题,从消息队列到HBase掌握关键原理,包含了以下技术点:

      1.Kafka原理加强| 2.HBase原理加强| 3.企业级HBase&Kafka面试题|

      5. 大数据多行业架构剖析解决多行业多场景大数据架构设计,具备举一反三设计大数据架构体系能来,包含了以下技术点:

      1.数据分析流程| 2.大数据架构剖析| 3.多行业大数据架构设计| 4.大数据存储,调度等解决方案|

    • 大数据实时技术栈高手班 14

      课时:6天技术点:90项测验:1次学习方式:线下面授

      学习目标

      1.掌握基于Flink进行实时和离线数据处理、分析| 2.掌握基于Flink的多流并行处理技术| 3.掌握千万级高速实时采集技术|

      主讲内容

      1. Flink Core新一代批流统一数据处理引擎,在计算效率和性能都有很大提升,包含了以下技术点:

      1.Flink基础|

      2. Flink DataStream构成了Flink解决实时数据处理部分,是掌握实时数据处理必备技能,包含了以下技术点:

      1.Flink DataStream的使用| 2.Kafka + Flink|

      3. Flink SQL解决Flink中的SQL化开发,Flink-SQL开发必备技能,包含了以下技术点:

      1.Flink SQL开发| 2.Hive + Flink SQL|

      4. Flink Runtime是对Flink任务进行调优,必须掌握的内容,包含了以下技术点:

      1.Watermark| 2.Checkpoint| 3.任务调度与负载均衡| 4.状态管理|

      5. Flink高级解决Flink性能监控等高阶常识,具备实时数据分析必备技能,包含以下技术点:

      1.Flink性能监控| 2.Flink调优| 3.Flink SQL实行计划|

      6. Flink电商案例实战践行场景式教学,运用了Flink阶段常识点,解决实时数据分析的应用,包含了以下技术点:

      Flume+Kafka+Flink+HBase+Sqoop+Canal+MySQL实战

    • 项目五:大数据实时计算项目(3选1)星途车联网Flink实时项目高手班 15

      课时:8天技术点:130项测验:0次学习方式:线下面授

      学习目标

      1.掌握基于Flink全栈进行快速OLAP分析 2.掌握实时高性能海量数据分析与存储 3.掌握针对HBase调优实现HBase存储调优 4.掌握数据报表分析 5.掌握业务数据实时大屏场景实现

      1、涵盖完整车联网业务场景,包含驾驶行程、电子围栏、远程诊断等真实业务 2、通过QBOX车辆终端数据收集,并解析为QSP数据、QCS数据、充电数据、HU数据 3、提供实时计算服务与离线计算服务,并通过API接口以报表和大屏展示分析结果数据

      进入项目体验
      主讲解决方案

      Hive、HBase、HDFS数据存储、Kafka数据传输、?Flink全栈数据处理、Nginx做反向代理、LSV和Keepalived负载均衡和高可用

      主讲常识点

      采集超过千万条新能源车辆的数据 实时高性能海量数据分析与存储 业务数据实时大屏场景实现

    • 项目五:大数据实时计算项目(3选1)今日指数证券Flink实时项目高手班 16

      课时:8天技术点:130项测验:0次学习方式:线下面授

      学习目标

      1.掌握基于Flink全栈进行快速OLAP分析 2.掌握实时高性能海量数据分析与存储 3.掌握针对HBase调优实现HBase存储调优 4.掌握数据报表分析 5.掌握业务数据实时大屏场景实现

      今日指数项目用于对证券市场的每日交易数据进行实时监控,该项目基于Flink框架搭建,结合HBase、Druid进行实时OLAP分析,在实时分析的平台上搭建监察预警体系,包括预警规则管理、实时预警、历史预警等。学员可以通过该项目学习到分布式实时计算、分布式数据存储等多个大数据技术解决方案。

      进入项目体验
      主讲解决方案

      今日指数项目用于对证券市场的每日交易数据进行实时监控,该项目基于Flink框架搭建,结合HBase、Druid进行实时OLAP分析,在实时分析的平台上搭建监察预警体系,包括预警规则管理、实时预警、历史预警等。

      主讲常识点

      学员可以通过该项目学习到分布式实时计算、分布式数据存储等多个大数据技术解决方案。

    • 项目五:大数据实时计算项目(3选1)客快物流Flink实时项目高手班 17

      课时:8天技术点:130项测验:0次学习方式:线下面授

      学习目标

      1.掌握基于Flink全栈进行快速OLAP分析 2.掌握实时高性能海量数据分析与存储 3.掌握针对HBase调优实现HBase存储调优 4.掌握数据报表分析 5.掌握业务数据实时大屏场景实现

      本项目是基于大型物流企业业务研发的智慧物流大数据平台,企业业务网点覆盖国内各地,大规模的客户群体,日订单达1000W,平台对千亿级数据进行整合、分析、处理,保障业务的顺利进行。

      进入项目体验
      主讲解决方案

      异构数据源、实时、离线、搜索、调度、数据服务、可视化完整架构,涵盖全生命周期项目

      主讲常识点

      基于大型物流企业快递流程,开发围绕订单、运单、仓库、B端客户、区域、画像多个主题的业务开发

    • 进阶课程进阶课 1

      课时:240天技术点:500项测验:0次学习方式:线上学习

      学习目标

      1. 在毕业后工作之余进行学习、继续提升| 2. 课程品类和内容持续更新、终身受益|

      主讲内容

      1. Python数据分析数据分析专项课,无论从事大数据开发、还是专门从事数据分析,升职挑战高薪必备技能

      1. Pandas开发进阶| 2. 机器学习数据挖掘统计分析| 3. 多场景分析项目| 4. 金融风控专项分析|

      2. Python后端开发如果你最终想成为融汇前后端运维测试的技术总监,那么请在工作之余学习这套课程

      1. Python Django Web开发| 2. 美多商城前后台Web项目| 3. Python自动化运维部署| 4. Python Flask Web开发| 5. 黑马头条移动端Web项目| 6. 后端高并发数据库缓存设计| 7. Python测试开发| 8. Python爬虫开发| 9. 微服务及RPC远程调用开发|

      3. Scala on SparkScala虽然式微,但如果你即将加入的团队还在使用Scala进行Spark开发,请快速学习

      1. Scala编程| 2. 基于Scala的Spark开发| 3. Scala Spark项目1:用户画像| 4. Scala Spark项目2:大数据推荐系统| 5. Scala Spark项目3:大数据反爬虫| 6. Scala Spark项目4:信号检测| 7. Scala Spark项目5:车联网|

      4. Java on Flink虽然以阿里为首的一线大厂已经开始采用Python on Flink的技术选型,但还是有部分团队采用Java on Flink,如果需要请快速学习

      1. Java编程| 2. 基于Java的NoSQL及存储框架开发| 3. 基于Java的Flink实时计算开发| 4. Java Flink项目1:车联网| 5. Java Flink项目2:金融证券| 6. Java Flink项目3:物流大数据实时计算|

      5. Flink实时计算高级进阶价值超过万元的实时计算课程,助力在职的你持续挑战高薪

      1. 实时计算基础| 2. 实时计算高阶| 3. 实时计算架构与运维| 4. Flink源码解析|

    • python+大数据开发 V版本课程说明

      课程名称:主要针对:主要使用开发工具:

      课程先容

    “周”更新日志

    课程更新日志按周更新热点/前沿技术

    • 新增2022-05-10

      · Flink版本为1.14· 弱化DataSetAPI讲解,加强DataStreamAPI-流批一体新特性的讲解· 移除过期API,增加DataStream、Window、Watermaker新版API使用讲解

    • 新增2022-05-03

      · 实时业务-实时统计Top10热点题· 实时业务-实时统计答题最活跃的Top10年级· 实时业务-实时统计Top10热点题及所属科目

    • 新增2022-04-26

      · 数据模拟程序写入到Kafka· 实时分析学生答题情况· StructuredStreaming实时分析入口程序· python完成电商行业ETL实战· ETL基础概念· ETL完成的Pipeline构建流程

    • 新增2022-04-19

      · 结构化流更新,删除Rate数据源-文件数据源· 删除企业不常用SparkStreaming

    • 新增2022-04-12

      · Spark中Continuous Processing· Spark3.2新特性· Spark性能调优九项原则、数据倾斜、shuffle优化· 新增Spark教育行业案例,方便学员掌握RDD和DataFrame的使用

    • 新增2022-04-05

      · StructuredStreaming 处理延迟数据和水印· StructuredStreaming 结构化流数据和静态数据Join· StructuredStreaming 结构化流数据和结构化路数据Join

    • 新增2022-03-29

      · 离线业务分析-各科目热点题分析· 离线业务分析-各科目推荐题分析

    • 新增2022-03-22

      · StructuredStreaming 物联网设备数据分析案例· StructuredStreaming 基于事件时间的窗口

    • 新增2022-03-15

      · SparkSQL底层实行原理· StructedStream结构化流内容· Pandas的教育案例数仓实战

    • 升级2022-03-08

      · 升级Spark版本到3.2· 升级Spark的主流开发语言为Python· 优化Spark的Standalone方式安装,使用local和yarn模式· Spark3.2整合Hive3.1.2版本兼容问题

    • 新增2022-03-01

      · MySQL的教育案例数仓实战· Pandas基础使用,作为理解Spark数据类型的基础· Pandas的Series数据结构· 增加在线教育案例

    • 新增2022-02-25

      · Python版本Hbase的API调用· Python的教育案例数仓实战· StructuredStreaming Sink内容· StructuredStreaming 整合Kafka

    • 新增2022-02-18

      · Flume采集MoMo数据集场景· 实时和离线方式处理数据场景· Python版本Kafka的调用· NoSQL阶段多场景项目实战

    • 新增2022-02-11

      ·Flume1.9数据采集方式· Hbase2.x新特性

      升级

      · Hbase的BulkLoader全量数据加载方式

    • 新增2022-02-04

      ·Python版本MapReduce写法

    • 新增2022-01-28

      · python脚本实现增量从oracle导入数据到hdfs中 · python脚本实现全量从oracle导入数据到hdfs中 · python脚本实现上传avro文件到hdfs上

    • 新增2022-01-21

      · python脚本实现压缩表的avro文件为tar.gz文件 · python脚本实现avro压缩文件上传hdfs · python实现读取oracle表原始数据 · python实现创建hive表 · ppython实现创建hive表

    • 新增2022-01-14

      · python实现自定义记录日志 · python实现读取一行行文本文件工具类 · python读取表信息转对象方法 · python实现sparksql创建数据库和表 · python实现sparksql创建分区关联表对应的hdfs数据方法

    • 新增2022-01-07

      · python实现sparksql查询ods层明细数据并加载到dwd层方法 · python实现sparksql查询ods层明细数据并加载到dwd层方法 · 造数据平台 · 新特殊字段类型

    • 新增2021-12-24

      · 字段类型 · flink源码前置基础 · 源码的编译和部署 · flink启动脚本的解读 · yarn-per-job模式解析

    • 新增2021-12-17

      · flink任务调度机制 · flink内存模型 · HIve3新特性 · Hive3数据压缩,存储格式等内容 · Hadoop3新特性

    • 新增2021-12-10

      · 概念和通用api先容 · sqlclient工具的使用 · catalogs常识点的学习 · 流处理中的概念先容

    • 新增2021-12-03

      · flinksql中的窗口使用 · FlinkSQL函数操作 · Flinksql连接到外部系统 · flinksql的原理和调优 · sql操作参考

    • 新增2021-11-26

      · flink on yarn的第三种部署方式(Application Mode) · 自定义source · transformation算子minby和maxby · transformation的八大物理分区的原理和实现 · flink的global window的操作

    • 新增2021-11-19

      · flink内置水印函数的操作 · flink的window的ReduceFunction · flink的state的数据结构的api升级 · flink的window的ProcessWindowFunction · flink的window的具有增量聚合的ProcessWindowFunction

    • 新增2021-11-12

      · link的window的在 ProcessWindowFunction 中使用每个窗口状态 · flink的state的ttl机制 · flink的state的数据结构的api升级 · flink的Queryable State常识点 · 异步io的vertx框架实现

    • 新增2021-11-05

      · flink的join操作 · Streaming File Sink连接器的小文件操作 · 数据类型及序列化的原理和实现案例 · 热门销售排行TopN的使用案例 · 布隆过滤器结合TTL的使用案例

    • 新增2021-10-29

      · PySpark的安装 · PySpark任务提交方式 · PySpark多种模式spark-submit · PySpark实现wordcount案例实战

    • 新增2021-10-22

      · Anaconda安装使用 · Python实现RDD的基础的Transformation操作 · Python实现RDD的Action操作 · Python实现Sougou分词案例 · Python实现IP热度分析案例

    • 新增2021-10-15

      · Python实现PV-UV-TOPK案例 · Python实现累加器及案例优化 · Python实现广播变量案例及优 · Python实现缓存案例及优化实现 · PySparkSQL实现基础统计操作

    • 新增2021-10-08

      · PySpark实现DataFrame的基础操作 · PySpark实现DataFrame的wordcount操作 · PySpark实现DataFrame和RDD的转换操作 · PySpark实现影片评分数据集分析

    • 新增2021-09-24

      · PySpark的底层Dataframe如何转化为RDD的原理操作 · PySparkSQL的优化方式 · PySparkSQL分布式引擎实现 · PySparkSQL与HIve整合 · PySpark离线教育案例

    • 新增2021-09-17

      · PySpark新零售分析案例 · ETL、ELT区别 · Hive CTE表达式、更新union联合查询 · 大数据5V特点 · 大数据多个应用场景

    • 更新2021-09-10

      · pandas及可视化课程迭代至v2.01 · 数据分析多场景项目迭代至v1.81 · 最新版Python基础编程v2.01 · 最新版Python编程进阶更新迭代至v2.01 · 制定v2.0版本课程大纲

    • 升级2021-09-03

      · 完善flink的运行架构内容 · 完善flink与kafka连接器的操作 · 完善flink的window操作的讲义 · 完善ODS层,新增和更新抽取方式,画图错误

    • 更新2021-08-27

      · Flink版本为1.13最新版 · Flink table&sql的整体概述 · 项目开发语言为spark官方使用最多的python语言

    • 更新2021-08-20

      · Spark语言为官方使用最多的Python语言 · Spark版本为3.1.2发行版,Hadoop3.3.0,Hive3.1.2版本

    • 升级2021-08-13

      · 升级HDFS读写流程原理图 · 升级Hadoop为最新3.3.0版本 · 升级编排Linux2天讲义 · 升级Mysql RPM安装方式以支撑hive3

    • 优化2021-08-06

      · 优化Hive常识点案例 同步为Hive3版本 · 优化Linux基础命令,删除了不常用命令 · 优化使用Python实现MR原理机制

    • 优化2021-08-03

      · 优化OLAP、OLTP区别 · 优化Hadoop版本安装及注意事项 · 优化数据分析基本步骤(6部曲) · 优化Hive版本为最新的3.1.2版本

    • 优化2021-07-27

      · 优化HIve3.x架构 · 优化PySpark实行流程,引入Py4J技术 · 优化车联网Web展示部分 · 优化车联网离线Hive数仓构建部分

    • 新增2021-07-20

      · 新增数仓整体设计图 · 新增技术选型设计图 · 新增项目原始数据库结构图

    • 新增2021-07-13

      · 新增油站维度 · 新增服务属性维度 · 新增物流企业维度 · 新增故障维度

    • 新增2021-07-06

      · 新增行程地理区域维度 · 新增组织机构维度 · 新增服务网点维度 · 新增数仓建模方法论 · 新增日期维度程序生成

    • 新增2021-06-29

      · 新增维度模型选型 · 新增自动创建hive表 · 新增自动创建hive分区 · 新增自动关联hdfs数据 · 新增自动导入oracle数据

    • 新增2021-06-22

      · 新增自动创建文件目录 · 新增记录自动化过程日志 · 新增java和数据结构大数据题目4个  · 新增算法题目4个 · 新增Hadoop题目6个

    • 新增2021-06-15

      · 新增hive题目3个 · 新增spark题目7个 · 新增flink题目4个 · 新增其他大数据组件题目4个 · 新增美团大数据架构

    • 新增2021-06-08

      · 新增平安大数据架构解决方案 · 新增小米大数据架构解决方案 · 新增百度广告业务场景大数据架构解决方案

    • 新增2021-06-01

      · 新增Flume1.9数据采集方式 · 新增Flume采集MoMo数据集场景 · 新增实时和离线方式处理数据场景 · 新增SparkWebUI功能说明

    • 新增2021-05-25

      · 新增SparkSQL比重 · 新增StructedStream双流Join常识点 · 新增Spark多语言开发-JavaSpark和PySpark

    • 新增2021-05-18

      · 新增SparkMlLib-ALS推荐算法案例和原理 · 新增SparkMlLib-线性回归算法案例和原理 · 新增SparkMlLib-决策树算法案例和原理

    • 新增2021-05-11

      · 新增Spark3.0新特性 · 新增Spark性能调优九项原则、N多配置参数、数据倾斜、shuffle优化 · 新增IP查询案例

    • 新增2021-05-04

      · 新增教师案例Spark案例 · 新增DataStream、Window、Watermaker新版API使用讲解 · 新增FlinkSQL&Table理论部分比重,使用新版API· 新增FlinkSQL整合Kafka案例· 新增双流Join常识点和案例

    • 新增2021-04-26

      · 新增Execl数据分析,整合Execl图标、透视表等使用 · 新增Execl分析项目 · 新增Tableau的BI分析工具及项目实· Tableau电商项目

    • 新增2021-04-19

      · BI工具使用 · 数据分析报告 · 数据仪表板展示· Tableau电商项目

    • 新增2021-04-12

      · Excel数据处理和计算 · Excel透视表 · Excel图表· Excel基本使用

    • 新增2021-04-05

      · 数据埋形式 · 数据埋点方案 · 数据需求文档· 后端埋点

    • 升级2021-03-29

      · 定时爬虫 · 下单并发处理 · 中文分词· 用户画像

    • 新增2021-03-22

      · 阿里搜索解决方案 · 快递解决方案 · Django即时通讯· mysql集群管理

    • 新增2021-03-15

      · Tencent聊天机器人 · Tencent文字识别 · python操作mycat · 小程序开发

    • 新增2021-03-08

      · django_extensions使用 · axios网易案例 · 阿里云方案 · django-channels使用

    • 新增2021-03-01

      · pytest自定义插件使用 · pytest异步调用 · pytest定时实行 · pytest标记使用

    • 升级2021-02-22

      · Cookie和Session使用 · Django类装饰器 · Django多对多查询 · Django关联查询

    • 升级2021-02-15

      · 推荐算法 · 数据可视化 · sql数据查询 · H5语法

    • 升级2021-02-08

      · 美多状态保持 · Django框架请求对象获取数据 · Django模版 · Django拓展类

    • 新增2021-02-01

      · asyncio编程 · RabbitMQ的Confirm机制 · RocketMQ使用 · Celery定时任务

    • 新增2021-01-25

      · Angular管道 · Angular路由 · Angular使用HTTP · Angular表单

    • 新增2021-01-18

      · Ant Design · TypeScript类型断言 · TypeScript内置对象 · TypeScript代码检查

    • 升级2021-01-11

      · Django认证 · Django权限控制 · 美多商城发送短信 · 美多商场QQ登录

    • 升级2021-01-04

      · SQL查询 · 数据仓库 · 业务报表· Pandas

    • 新增2020-12-28

      · 机器学习排序算法 · 购物篮分析 · RFM模型· K均值聚类算法

    • 新增2020-12-21

      · 物品画像 · 用户画像 · 召回算法· 漏斗分析

    • 升级2020-12-14

      · 状态保持 · 权限管理 · 页面静态化· xpath工具

    • 升级2020-12-07

      · 极验验证 · jieba分词 · shell代码发布· 对象存储

    • 新增2020-11-30

      · ES集群搭建 · IK中文分词 · ES聚合查询· ES冻结解冻索引

    • 新增2020-11-23

      · Kafka Broker集群 · Topic模型 · kafka数据备份· kafka消息持久化

    • 升级2020-11-16

      · pandas的apply方法 · pandas的transform方法 · pandas的to_numeric函数· Pandas内置聚合方法

    • 升级2020-11-09

      · elk日志监控 · shell代码发布 · ubuntu版本20.04· 移动端测试

    • 优化2020-11-02

      · mysql读写分离 · reids哨兵 · redis安全限制· Keepalived非抢占模式

    • 新增2020-10-26

      · VIP脑裂 · MyCAT使用 · WA配置使用· redis持久化

    • 新增2020-10-19

      · HA Cluster高可用集群 · Keepalived使用 · VRRP协议· nginx服务切换

    • 升级2020-10-12

      · fastDFS使用 · shell使用 · docker使用· nginx使用

    • 升级2020-10-05

      · cookie和session案例 · mysql主从 · mysql集群· redis主从

    • 升级2020-09-28

      · Django用户权鉴 · Django表单 · Django-froms· Django站点管理

    • 新增2020-09-07

      · Ansible使用 · AWX使用 · ceph使用· zabbix使用

    • 升级2020-08-31

      · 登录判断中间件 · cache缓存使用 · 购物车数据存储· git冲突解决

    • 新增2020-08-24

      · pyautogui使用 · uiautomator使用 · PO模式· mock测试

    • 新增2020-08-17

      · Django转换器 · Django用户认证拓展类 · Django权限认证拓展类· Haystack搜索类

    • 升级2020-08-10

      · python操作reids · redis高可用 · redis集群搭建· redis持久化

    • 升级2020-08-03

      · mysql事务使用 · mysql主从搭建 · mysql客户端使用 · mysql外键操作

    • 新增2020-07-27

      · mongodb聚合 · mongodb索引 · mongodb权限· 常见反爬手段

    • 新增2020-07-20

      · 缓存击穿 · 缓存雪崩 · 雪花算法

    • 升级2020-07-13

      · Locust 性能测试 shell编程 · msyql数据库 · redis缓存 ·

    • 升级2020-07-06

      · redis集群 · gitfollow工作流 · 定时爬虫 · elk

    • 升级2020-06-29

      · 响应对象的处理 · 细化Cookie及Session的处理 · 链接失效的爬虫案例 · 美后台权限控制

    • 新增2020-06-22

      · 高性能爬虫 · 多线程爬虫案例 · Flask-Migrate 数据模型设计 · 智慧大屏案例

    • 升级2020-06-15

      · UnitTest断言: 比较断言,复杂断言 · 路由系统全线升级 · 数据图片化反爬 · redis缓存

    • 新增2020-06-08

      · Jmter 图形监视器扩展插件 · 警告断言 · 异常断言 · Jmter性能调试

    • 新增2020-06-01

      · 性能测试报告分析 · 新增分库访问 · 优化Fixtures的参数化 · protometheus使用

    • 新增2020-05-25

      · flask-sqlalchemy二次开发 · 数据解析-BeautifulSoup4 · Jmeter分布式并发测试的配置 · zabbix使用

    • 新增2020-05-18

      · Jmeter实现参数化 · 数据库测试 · 实现跨线程组传值 · lua基础

    • 新增2020-05-11

      · 自定义读写分离 · 认证体系 · 访问劫持 · 安全策略

    • 新增2020-05-04

      · Redis悲观锁 · 布隆过滤器 · 文件安全 · WAF实践

    • 升级2020-04-27

      · 搜索接口结构 · elsticsearch使用 · celerybug处理 · rabbitMQ使用

    • 升级2020-04-20

      · Locust关联 · Locust断言 · Locust各种业务场景下的参数化 · pipeline使用

    • 升级2020-04-13

      · 更改Scrapy以及Scrapy-redis项目 · Selenium常识点演示案例 · redis哨兵机制 · mysql主从搭建

    • 升级2020-04-06

      · 时间戳/页码/偏移量分页 · gitflow工作流 · sentry使用 · xss安全

    • 新增2020-03-30

      · Pytest.mark · flask缓存工具类 · 多级缓存 · mysql注入攻击

    • 新增2020-03-23

      · 禅道的不同角色使用 · Mysql垂直拆分 · Flask-SQLAlchemy的读写分离 · Mysql水平拆分

    • 升级2020-03-16

      · 性能测试分类 · 性能监控指标 · 性能测试流程 · celery使用

    • 新增2020-03-09

      · 定时抓取数据爬虫 · Appium对APP数据的抓取 · 常见性能测试工具优化 · Filebeat详解

    • 升级2020-03-02

      · 禅道的部署方式 · django框架升级为2.25版本 · 美多详情页静态化 · 商品spu表结构

    • 新增2020-01-16

      · 美多商城缓存 · elk日志监控 · docker部署美多商城 · shell代码发布

    • 升级2020-01-09

      · 等价类划分法演示案例 · 边界值法的演示案例 · 容联云发送短信 · fastDFS图片上传

    • 新增2020-01-02

      · 测试用例的设计方法 · 获取用户信息模块的单元测试 · 登录注册模块的单元测试 · jenkins使用

    • 升级2019-12-26

      · Django自带单元测试模块 · Mysql数据库教法调整 · 黑马头条缓存使用 · dockerfile使用

    • 新增2019-12-19

      · Locust 性能测试 · HttpLocust和Locust · TaskSet TaskSequence · seq_task

    • 升级2019-11-28

      · 异常案例的讲解 · 代码健壮性提升方式 · 登录状态判断 · 异常处理

    • 升级2019-11-21

      · 商品模块代码进行了调整 · Redis事务型管道 · 反爬案例 · 搜索方法优化

    • 新增2019-11-14

      · 新增字体反爬 · Charles/fiddler抓包工具讲解 · Redis非事务型管道 · 新增shell编程

    • 升级2019-11-07

      · PO模型 · Requests模块的使用 · Get/Post等Http请求 · 试用例的设计方法

    • 新增2019-10-31

      · Flask项目搭建Flask-CORS · Fixtures实现SetUp和TearDown · 美多商城登录功能自动化测试 · Redis缓存数据集合

    • 升级2019-10-24

      · 黑马头条前端代码 · 分布式事务 · 美多商城前台改为前后端分离模式 · admin后端管理站点讲解

    • 新增2019-10-17

      · 美多商城支付模块单元测试 · Jmeter 性能测试报告 · TestCase Client FactoryRequest Mock · 美多商城下单模块性能测试

    • 新增2019-10-10

      · 黑马头条业务逻辑: 用户认证 、修改头像 · 黑马头条业务逻辑: 频道管理 · 黑马头条业务逻辑: 文章列表/详情 · 黑马头条业务逻辑: 关注用户 评论回复


    点击加载更多>>

    实力雄厚的Python+大数据开发课程研发团队

    源源不断引进大厂技术大牛,专业研发课程升级、迭代,与企业需求实时接轨

      授课经验丰富的Python+大数据开发讲师团队

      教师录取率<3%,从源头把控师资,带你过关斩将掌握每一个常识点

      贯穿学习全程、保障学习效果的AI教辅系统

      用数据驱动教学,贯通教/学/练/测/评,为每一位学员私人定制学习计划和就业服务

      1. 学前入学多维测评

      2. 学前目标导向式学习

      3. 学中随堂诊断纠错

      4. 学中阶段效果测评

      5. 学后在线作业试题库

      6. 学后问答社区查漏补缺

      7. 保障BI报表数据呈现

      8. 就业全面引导就业

      更多Tlias就业服务

      就业流程
      全信息化处理

      学员能力
      雷达图分析

      定制个性化
      就业服务

      技术面试题
      讲解

      就业引导课
      面试项目分析

      HR面试攻略

      模拟企业
      真实面试

      专业简历引导

      面试复盘辅导

      风险预警
      企业黑名单提醒

      打造学员职业生态圈

      老学员毕业后即可加入传智汇精英社区,持续助力学员职场发展,一次学习永久服务

      传智教育旗下IT互联网精英社区,以汇聚互联网前沿技术为核心,以传递、分享为己任,联合经纬创投、创新工场、京东人工智能、HUAWEI等众多关注互联网的知名机构及企业、行业大咖,共同研究中国互联网深度融合、跨界渗透、整合汇聚、相互促进的信息化资源共享平台。

      • 行业沙龙

      • 高端人脉

      • 职场资源

      • 技术研习

      Python+大数据开发全国就业薪资情况

      查看其他班级

      9970元/月平均薪资

      15900元/月最高薪资

      100%就业率

      58月薪过万

      • 姓名
      • 性别
      • 就业时间
      • 就职城市
      • 就职企业
      • 薪资
      • 福利待遇
      • 姓名
      • 培训前岗位
      • 培训前薪资
      • 培训后薪资
      • 入职时间
      • 入职企业
      • 就职城市

      *学员就业信息统计数据为数据库中实时调取的真实相关数据,非广告宣传

      Python+大数据开发全国各校区就业喜报
       

      59859cc威尼斯官网|威尼斯欢乐娱人成app

      XML 地图 | Sitemap 地图