阿里巴巴飞天大数据平台MaxCompute（原名ODPS）全套攻略（持续更新20200109）

2022-04-15 01:01:23

阿里巴巴飞天大数据平台MaxCompute持续进化；

概况介绍

大数据计算服务(MaxCompute，原名ODPS，产品地址：https://www.aliyun.com/product/odps )是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。本文收录了大量的MaxCompute产品介绍、技术介绍，帮助您快速了解MaxCompute/ODPS。

2.0专题

最新推出的MaxCompute 2.0，在高性能方面主要依托于全新的SQL 2.0计算引擎。在新功能方面提供了非结构化的处理，在云上开始使用OSS（开放的对象存储）、OTS（开放的表格存储），MaxCompute对其进一步分析和计算提供了连接性。机器学习在新版本中提出了CPU和GPU统一的架构，在富生态中也提出了新的能力。本文收录了MaxComputeV2最新的使用攻略，帮助开发者更快的了解并玩转MaxCompute2.0。

评测

MaxCompute在业内证明了其几大优势：极低的自建成本，卓越的性能打破了四项世界纪录，优秀的架构确保了企业数据在整个生命周期内的安全性；通过自身核心竞争力和市场成绩单，斩获用户好口碑。本文收录了MaxCompute所有评测、技术奖项、等级证书等相关知识。

视频专题

本文收录了大量的MaxCompute教程、案例视频，帮助您快速了解MaxCompute/ODPS。

MaxCompute教程、案例视频合集汇总（持续更新20190121）

社区问答

本文收录了大量的MaxCompute社区、钉群问题，帮助您快速上手大数据。

产品月刊

本文收录了大量的MaxCompute月刊，包括产品重要发布、重要文档更新推荐、精选技术文章推荐、重要活动回顾及技术干货整理。

开发套件专题

MaxCompute支持多款开发套件，如数加DataWorks，可以很方便的完成多源异构数据的同步、脚本开发、定时调度，MaxCompute Studio提供本地化的智能编辑器、Job分析，让代码更高效。本文收录了大数据开发套件的相关介绍、使用教程、最佳实践，帮您玩转大数据开发套件。

DataWorks

MaxCompute Studio

深入阿里云大数据IDE–MaxCompute Studio
MaxCompute Studio 2.8.2 新版本发布啦！
使用 MaxCompute Studio 开发大数据应用
MaxCompute Studio提升UDF和MapReduce开发体验
ODPS Studio 2.6.2 版本发布了
用 MaxCompute Studio 查看作业排队详情
MaxCompute模板与样例
MaxCompute（原ODPS） Studio 2.7.0 版本发布，让代码效率更高
IDEA集成MaxCompute
通过MaxCompute Studio创建UDF的简单介绍
MaxCompute Studio 2.8.1 新版本发布啦！
MaxCompute Studio使用心得系列1——本地数据上传下载
MaxCompute Studio使用心得系列2——编译SQL脚本
MaxCompute Studio使用心得系列3——可视化分析作业运行
MaxCompute Studio使用心得系列4——可视化查看所有job并分析运行情况
MaxCompute Studio使用心得系列5——一个工具完成整个JAVA UDF开发
MaxCompute Studio使用心得系列6——一个工具完成整个Python UDF开发
MaxCompute Studio使用心得系列7——作业对比
阿里云全新一代企业级新品解读—通过MaxCompute Studio实践大数据时代的DevOps
玩转MaxCompute studio SQL编辑器
MaxCompute studio FAQ
MaxCompute Studio 使用入门
一探究竟：善用 MaxCompute Studio 分析 SQL 作业
代码快速“检”“修”不是梦，阿里云MaxCompute Studio 2.9.0 新版本发布
最好用的工兵铲—MaxCompute Studio，来了解下！
机器学习PAI专题

MaxCompute提供基于GPU的深度学习算法框架，在线预测服务等，以极低的代价帮助您的业务从BI时代跨入AI时代，真正实现人工智能触手可及。本文收录了机器学习技术原理、实践等相关知识，帮助开发者快速掌握机器学习。
- 机器学习——让人工智能触手可及
- 大规模深度学习优化技术在PAI平台中的应用及实践
- 阿里云工程师用机器学习破解雾霾成因
- 大规模数据的分布式机器学习平台
- ODPS—MPI机器学习编程框架
- 人工智能居然会模仿人类品酒
- 用炸弹开路——加速到来的证券投资行业人工智能时代
- 阿里云机器学习平台的思考
- 机器学习系列直播--使用对抗神经网络(GANs)生成猫【8月30日 20点不见不散】
- 端到端GPU性能优化在深度学习场景下的应用实践
- 阿里云机器学习平台PAI，助力降低机器学习的成本和技术门槛
- 千亿特征流式学习在大规模推荐排序场景的应用
图计算Graph专题

MaxCompute Graph 是基于飞天平台实现的面向迭代的图处理框架，为用户提供了类似于 Pregel 的编程接口，本文收录了图计算的介绍、技术原理、实践，帮您来更多的了解Graph。
- 图（关系网络）数据分析及阿里应用
- 图计算Graph 介绍
- 基于MaxCompute的图计算Graph 实践分享-图加载过程
- 基于MaxCompute的图计算Graph 实践分享-解析图加载过程
- 基于MaxCompute的图计算Graph 实践分享-Aggregator机制介绍
- 基于MaxCompute的图计算Graph 实践分享-可配置参数列表（持续更新）
- 基于MaxCompute的图计算Graph 实践分享-常见问题解决及优化指南
- MaxCompute 图计算用户手册（下）
- MaxCompute 图计算用户手册（上）
- MaxCompute 图计算开发指南
MapReduce专题

当大数据业务逻辑很复杂，用SQL配合UDF(包括UDAF和UDTF)也无法实现的时候，可以使用MapReduce MapReduce来实现。本文收录了MapReduce的介绍、技术原理、实践，帮您来更多的了解MapReduce。
- MaxCompute MapReduce介绍及技术原理
- MaxCompute MapReduce（MR）如何收费
- MaxCompute MapReduce细节解读
- MaxCompute MapReduce的7个性能优化策略
- MaxCompute（原ODPS） MapReduce常见问题解答
Mars专题

Mars作为新一代超大规模科学计算引擎，不仅普惠科学计算进入分布式时代，更让大数据进行高效的科学计算成为可能。本文收录了Mars的介绍、技术原理、实践，帮您来更多的了解Mars。
- MaxCompute Mars 是什么、能做什么、如何做的——记 Mars 在 PyCon China 2018 上的分享
- Mars——基于矩阵的统一分布式计算框架
- Mars 如何分布式地执行
- Mars 算法实践——人脸识别
Lightning专题

MaxCompute Lightning是MaxCompute产品的交互式查询服务，支持以PostgreSQL协议及语法连接访问Maxcompute项目，让您使用熟悉的工具以标准 SQL查询分析MaxCompute项目中的数据，快速获取查询结果。您可使用主流BI工具（如Tableau、帆软等）或SQL客户端轻松连接到MaxCompute项目，开展BI分析或即席查询。或者利用MaxCompute Lightning的快速查询特性，将项目表数据封装成API对外服务，无需数据迁移就能够支持更丰富的应用场景。本文收录了Lightning的介绍、技术原理、实践，帮您来更多的了解Lightning。
- MaxCompute Lightning 介绍
- Lightning 快速入门
- 使用应用程序(Java/Python)访问MaxCompute Lightning进行数据开发
- Lightning 常见问题
UDF专题
- MaxCompute UDF系列之身份证校验及15位身份证号码转换成18位
- MaxCompute UDF系列之判断字符串中是否包含汉字
- MaxCompute UDF系列之全角转半角
- MaxCompute SQL引用第三方Base64JAR实现编解码
- MaxCompute UDF系列之拼音转换
- MaxCompute中实现IP地址归属地转换
客户案例

MaxCompute在短短的几年时间里，改变了很多行业，积累了大量的客户成功案例。比如东润环能在3个月内业务全面交付云端，数据处理时间不到原来自建方式的1/3，并确保云上数据安全无忧。墨迹天气日志分析业务迁移到数加MaxCompute后，开发效率提升了超过5倍，存储和计算费用节省了70%，每天处理分析2TB的日志数据，更高效的赋能其个性化运营策略。本文收录了大量的客户案例，总有一款适合您。
- MaxCompute 助力衣二三构建智能化运营工具
- 唱吧基于 MaxCompute 的大数据之路
- 优酷背后的大数据秘密
- 【阿里云峰会出海论坛】MaxCompute助力小影短视频走向全球化
- 基于MaxCompute的媒体大数据开放平台建设
- 基于MaxCompute打造轻盈的人人车移动端数据平台
- 阿里工业互联网平台“思考”：一场从0到1的蜕变
- 双11奇迹背后的大数据平台，不喧哗，自有声！
- 阿里云MaxCompute携手华大基因打造精准医疗应用云平台
- MaxCompute助力ofo实现精细化运营：日订单超3200万、整体运行效率提升76%
- 塑云科技：性能突破，基于KafKa+OTS+MaxCompute 完成了一次物联网系统技术重构
- 京信通信：数据智能为生产调试“增效瘦身”
- 借助数加，原来需要2-3天的单维度数据处理时间，目前仅需3-6小时，研发周期更短，产品需求符合度更高。
- 大数据打造你的变美频道——数加平台上小红唇的大数据实践
- 阿里云与国家天文台成立天文大数据联合研究中心
- 阿里云参与两大国家工程实验室获批，人工智能继续深入工业制造
- 借助阿里云数加，小小的美甲行业被美甲帮玩出了天价
- 美甲帮：玩转指甲上的大数据平台
- 大数据打造你的变美频道——数加平台上小红唇的大数据实践
- 与阿里云整个生态体系共同成长，更快更好的为房地产行业客户提供高价值的服务
- 苏州协鑫与阿里云合作阶段性完成，良品率已提升1%
- 禾连健康CDO沈金：谈云时代的大数据平台架构
- 小硅片与大数据的结合 ——协鑫光伏的新制造之路
- 墨迹天气-轻松处理每天2TB的日志数据，支撑运营团队进行大数据分析挖掘，随时洞察用户个性化需求
- 阿里云数加让企业更专注于业务，助力东润环能高效利用大数据资源
- 纯云大数据系统的构建与价值
- 阿里云数加助力东润环能开启新能源大数据时代
- 赋能平台、提效工具、场景化应用，地产大数据玩转有诀窍
- 产品3周迭代一次，启信宝驾驭8000万企业征信的平台架构
- 日交易笔百万级，Ping++的大数据平台架构
- 专访佰腾科技大数据团队，谈专利大数据领域的挑战与实践
- 佰腾科技的专利大数据的云上裂变之路
- 技术创业难？看汇合营销如何玩转大数据与机器学习
- 数据让生意更简单，网聚宝创业团队利用数加快速打造核心业务竞争力，在激烈的市场竞争中弯道超车。
- 网鱼网咖-利用数加快速搭建大数据平台，极致洞察，为客户带来从所未有的体验。
- 年服务人次3300万+，网鱼网咖的大数据挑战及架构
- 友盟这家数据公司为什么能成为数百万企业的选择？
- 数加平台协助汇合营销快速行动，捕获转瞬即逝的商机。
- 全民直播牵手阿里云，技术升级触发直播新体验
- 3天撸完一个团队半年的项目，单客户数据动辄几百万的行业也玩云？
- 杭州治堵有“智慧” 阿里云数加激活城市大脑
- 堵车预测神器诞生，浙江已用来治疗高速顽疾
- 小团队拥有大能量三十个年轻人的创业故事
- 完成数据的打通-豌豆荚被阿里巴巴收购后的168天
- MaxCompute助力北斗大数据，千寻位置3秒实现厘米级定位
- 30秒在线卖出3000套房，对于云系统来说只是小意思！
- 阿里怎么发工资？自研薪酬管理系统首次曝光
- 《能源地图》：阿里云数加MaxCompute轻松处理8000亿条气象数据
- 阿里妈妈MaxCompute架构演进 - AON(MPI)集群
- 数据生意背后的云计算
- 登月1号：支付宝演绎空中升级绝技
- 御膳房：构建大数据的美食厨房
- OFO：Maxcompute的任务状态和多任务执行
- 仁人帮探索大数据技术
- 融合大数据能力，解决在存量时代下的力分之困
- MaxCompute2.0助力众安保险快速成长
- 美柚-MaxCompute为女性健康护航
- 高德地图基于阿里云MaxCompute的最佳实践
- MaxCompute在高德大数据上的应用
- 阿里巴巴云计算进驻水泥行业 MaxCompute助力企业“智慧大脑”
- 重磅！MaxCompute助力阿里开源自研语音识别模型DFSMN，准确率高达96.04%
- 基于MaxCompute构建Noxmobi全球化精准营销系统
- MaxCompute在阿里妈妈数据字化营销解决方案上的典型应用
- ofo在MaxCompute的大数据开发之路
- 阿里云 x 蒙牛 | 打通数据孤岛，基于MaxCompute实现产销协同的智慧运营
- 12分钟即达背后的智能支撑
- 时隔一年多，我又用起了 Superset
- 读透《阿里巴巴数据中台实践》，其到底有什么高明之处？
新手入门

为MaxCompute新手用户提供入门级教程，如操作介绍、计量计费、数据上云、云上分析，帮助用户完成第一个SQL数据分析。
- [使用初学者]如何快速玩转阿里云大数据计算服务MaxCompute
- 阿里云数加大数据计算服务MaxCompute学习路线图 (持续更新中)
- 【大数据学习】数据化运营并不难？关键是这些技术你get了么？！
- 获取大数据计算通关秘籍，拥有全新一代计算引擎免费试用权益
- MaxCompute 学习计划(一)
- MaxCompute 学习计划(二)
- MaxCompute 学习计划(三)
- MaxCompute（原ODPS）开发入门指南——数据上云篇
- MaxCompute（原ODPS）开发入门指南——计量计费篇
- MaxCompute（原ODPS）开发入门指南——数据开发工具篇
- MaxCompute常用语句汇总(更新ing)
计费购买

提供MaxCompute计量计价说明，计费工具，售前计费沟通支持。
- 计量计费说明
- 价格计算器-小工具下载
- 购买咨询专家群
- 帮助企业做好MaxCompute大数据平台成本优化的最佳实践
- 三分钟教你学会分析MaxCompute消费明细
- 教你开通MaxCompute自动续费
- MaxCompute计费命令详解
- 只需四步，帮助企业做好MaxCompute成本优化
- 21分钟教会你分析MaxCompute账单
- MaxCompute 费用暴涨之新增SQL分区裁剪失败
- MaxCompute 费用暴涨之存储压缩率降低导致SQL输入量变大
- MaxCompute 预付费标准版VS套餐版
- 利用InformationSchema与阿里云交易和账单管理API实现MaxCompute费用对账分摊统计
技术峰会

收录各界MaxCompute大数据技术峰会，多位技术大咖、行业实践者从技术与业务两个方面，与大家探讨大数据如何最快落地到实践。
- 2019大数据首席管峰会
- 阿里经济体大数据平台的建设与思考
- 解密淘宝推荐实战，打造 “比你还懂你” 的个性化APP
- 阿里风控大脑关于大数据应用的探索与实践
- 可闭环、可沉淀、可持续的企业级数据赋能体系
- 2019杭州云栖大会
- 【最全合集】一文看尽 2019杭州云栖大会 MaxCompute 技术分享
- 阿里巴巴大数据技术关键进展及展望
- AI加持的阿里云飞天大数据平台技术揭秘
- 贾扬清谈大数据&AI发展的新挑战和新机遇
- 阿里云，Facebook，英特尔，Databricks, Flink 大数据&AI前沿技术一文看尽—2019杭州云栖大会 “大数据&AI” 峰会全集
- 混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践
- 一条SQL在 MaxCompute 分布式系统中的旅程
- 丰富、连接、待集成—MaxCompute 生态再出发
- 如何有效降低大数据平台安全风险
- 2019 CXO峰会
- 基于阿里云 MaxCompute 构建企业云数据仓库CDW的最佳实践建议
- 峰会往期回顾
- 2017云栖大会北京峰会阿里云大数据计算服务MaxCompute 划重点！
- 北京云栖大会workshop：《数据处理：数据建模与加工》篇
- 北京Workshop准备条件：《云数据·大计算：快速搭建互联网在线运营分析平台》
- 北京：《云数据·大计算：快速搭建互联网在线运营分析平台》Workshop-入口
- [干货]作为大数据入门者，你不得不知道的2017杭州云栖大会
- 双管齐下，MaxCompute数据上云与生态
- 【直击深圳云栖大会大数据专场】陈鹏宇分享主题—数加：迈向数据智能之路
- 技术与架构，解析如何将大数据最快落地到实践
- MaxCompute Next
- MaxCompute 2.0 性能优化揭秘
·         演讲视频：http://yq.aliyun.com/webinar/play/188

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1449

·         演讲整理文章：https://yq.aliyun.com/articles/72240

MaxCompute大数据语言的新发展

·         演讲视频：http://yq.aliyun.com/webinar/play/189

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1448

·         演讲整理文章：https://yq.aliyun.com/articles/72284

大规模流式增量计算及其在阿里巴巴的应用

·         演讲视频：http://yq.aliyun.com/webinar/play/190

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1444

·         演讲整理文章：https://yq.aliyun.com/articles/72242

PAI分布式机器学习平台计算模型演进之路

·         演讲视频：http://yq.aliyun.com/webinar/play/191

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1445

·         演讲整理文章：https://yq.aliyun.com/articles/72362

MaxCompute数据上云与生态

·         演讲视频：http://yq.aliyun.com/webinar/play/192

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1446

·         演讲整理文章：https://yq.aliyun.com/articles/72367

高可用大数据计算平台如何持续发布和演进

·         演讲视频：http://yq.aliyun.com/webinar/play/193

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1447

·         演讲整理文章：https://yq.aliyun.com/articles/72282

专利大数据的云上裂变之路

·         演讲视频：http://yq.aliyun.com/webinar/play/194

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1440

·         演讲整理文章：https://yq.aliyun.com/articles/72369

地产大数据趋势与应用实践

·         演讲视频：http://yq.aliyun.com/webinar/play/195

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1441

·         演讲整理文章：https://yq.aliyun.com/articles/72386

用大数据打造你的变美频道

·         演讲视频：http://yq.aliyun.com/webinar/play/196

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1443

·         演讲整理文章：https://yq.aliyun.com/articles/72250

云上大数据，零售新思维

·         演讲视频：http://yq.aliyun.com/webinar/play/197

·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1442

·         演讲整理文章：https://yq.aliyun.com/articles/72249
- 关于举办“天德π客”创业论坛——“基于阿里云的大数据实践—海量日志分析”的通知
- 快上车！老司机带你走进“大数据及阿里云数据分析平台”
- 万元大奖邀您参与阿里云数加 MaxCompute最佳实践征文大赛
- 阿里云全新一代人工智能引擎机器学习PAI+MaxComptue征文大赛正式启动
- 操作系统*会议SOSP 阿里云MaxCompute开启NewSQL时代
- 大数据计算杭州高端峰会—探寻真正的“云数据，大计算”
- 像拥有水电煤一样拥有计算能力—阿里云大数据计算上海峰会圆满举行
- Workshop
  
  该课程是基于大数据时代日志分析的基础需求的基础上，告知用户如果通过阿里云MaxCompute大数据解决方案来实现自己网站日志的用户画像。包括数据采集、数据加工以及数据最终的展现，最后通过MapReduce来解密好友推荐算法的实现原理。
  MaxCompute1元试用体验馆
  
  通过丰富的场景案例、教程，让您近距离低成本的感受MaxCompute大数据平台的魅力。
  数据上云专题
  
  对于大多数企业首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景，大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移，下面我们针对每种场景分别介绍几种常用方案。
  数据安全专题
  
  收录了MaxCompute大数据平台安全资质、安全机制、数据安全白皮书、安全事件等，带你更深入的了解MaxCompute如何保护企业数据资产。
  运维/容灾专题
  
  收录了MaxCompute大数据平台运维成长过程，企业如何做好灾备、做好自动化运维保障等相关运维知识。
- 阿里巴巴大数据运维平台实践
- 数据仓库专题
  
  分享企业如何利用MaxCompute搭建数据仓库，如何做好ETL、建模、分层设计等相关数仓知识。
  公开数据集
  
  目前免费开放的数据类别包括：股票价格数据，房产信息，影视及其票房数据，所有的数据均被存储在MaxCompute 产品中的public_data 项目中。
  - 阿里云数加（大数据）公开数据集（公测ing）
  大数据最佳实践
  
  越来越多的企业和开发者选择MaxCompute，为了更好地展示这些优秀企业和个人开发者的伟大经验，搜集整理了这些最佳实践，希望这些最佳实践能够为你的开发工作带来一些帮助。
  官方文档
  
  为大家整理了MaxCompute的电子版文档供大家下载阅读，涉及的用户指南、计算说明、开发实践、SDK使用说明等常用开发手册。
  - 阿里云大数据平台MaxCompute用户指南官方电子版下载
  常见问题
  
  为大家整理了关于MaxCompute的系列问题供大家查阅参考，覆盖产品包括MaxCompute、MaxCompute Studio、DataWork、MaxCompute SDK，涉及的知识点有数据同步、SQL/UDF/MR开发、JOB任务调度分析、计量计费、安装、注销等等。
  生态兼容
  
  MaxCompute 从研发的第一天起就被设计统一由 Restful API 提供服务。在 Restful API 之上，我们各种语言的 SDK。由 SDK 编写形成的各种工具、驱动等等构成了 MaxCompute 的用户接口层，即外围生态；截止到今天，MaxCompute已支持JDBC、Java、python、R、OpenMR等开放接口，兼容现有大数据生态系统。
  产品功能介绍
  
  整理了MaxCompute官网使用手册之外的一些功能知识点介绍。
  技术原理介绍
  
  深入浅出的剖析MaxCompute技术原理，比如SQL运行原理、MR机制、伏羲调度机制、盘古存储机制、优化器等等。
  大数据基础知识
  
  介绍了目前关键的几个大数据方面的技术，什么是分布式计算、分布式存储、调度、监控等等，帮助开发者从Java工程师成功过渡到大数据工程师。
  产品/技术资讯
  
  提供MaxCompute最新的资讯、业界动态、领域技术应用、商机等内容。

码农公寓

阿里巴巴飞天大数据平台MaxCompute（原名ODPS）全套攻略（持续更新20200109）

概况介绍

2.0专题

评测

视频专题

社区问答

产品月刊

开发套件专题

机器学习PAI专题

图计算Graph专题

MapReduce专题

Mars专题

Lightning专题

UDF专题

客户案例

新手入门

计费购买

技术峰会

Workshop

MaxCompute1元试用体验馆

数据上云专题

数据安全专题

运维/容灾专题

数据仓库专题

公开数据集

大数据最佳实践

官方文档

常见问题

生态兼容

产品功能介绍

技术原理介绍

大数据基础知识

产品/技术资讯

与MaxCompute专家在线沟通/问答

招聘信息

码农公寓

概况介绍

2.0专题

评测

视频专题

社区问答

产品月刊

开发套件专题

机器学习PAI专题

图计算Graph专题

MapReduce专题

Mars专题

Lightning专题

UDF专题

客户案例

新手入门

计费购买

技术峰会

Workshop

MaxCompute1元试用体验馆

数据上云专题

数据安全专题

运维/容灾专题

数据仓库专题

公开数据集

大数据最佳实践

官方文档

常见问题

生态兼容

产品功能介绍

技术原理介绍

大数据基础知识

产品/技术资讯

与MaxCompute专家在线沟通/问答

招聘信息

相关文章