AWS DAS认证考点整理（Athena&Glue篇）

Athena

1. Athena查询隔离=Work Group, 可以control per-query data usage limit.
2. Athena查询速度优化：1. 压缩  2. 列式存储  3. S3和Athena同一个Region
3. Athena查询成本优化：1.Partition by，2. 列式存储，3.合并小文件
4. Athena partition快速生成or恢复=MSCK REPAIR TABLE，Athena使用hive style partition。
5. Athena查询结果S3加密：S3-SSE, CMK-KMS and CSE-KMS
6. Athena DML timeout after 30minutes= Raise ticket in service quotas
7. Athena Payload超出上限错误=结果上传S3+Presigned URL
8. lzo压缩格式高速解压比gzip读取速度快，提高Athena查询性能。

Glue

1. AWS Glue Crawler Classification = Unknown: All the classifiers certainty=0.0
2. Glue读取大量小文件用dynamic frame file grouping功能。
3. Glue读取大量小文件报outofmemory错误= 'groupFiles': 'inPartition' feature.
4. Glue Crawler和Athena都可以跨Region使用。
5. Glue Crawler/Copy Command triggered by S3:CreateObject event = most current data
6. Glue跳过特定的S3存储层：excludeStorageClasses
7. Glue scale = glue job metrics + maximum capcity job parameter
8. Glue job rerun导致重复数据清理用Postactions in DynamicFrameWriter class
9. Glue支持PySpark Scala dialect，不支持Hive script
10. Glue Job bookmark功能避免重复处理数据，只处理增量数据。
11. Glue catalog update manually created table = choose table when define crawler.
12. Glue跑完job自动update catalog=enable updatecatalog
13. Glue Findmatch ML=match data without PK
14. Glue streaming ETL 连 KDS, MSK, 不可以连KDF。