AWS на русском

018. AWS Organizations лучшие практики - часть 1

Говорим про AWS организации, в один эпизод не получилось поместить все что хотелось рассказать, поэтому будет целая серия выпусков про AWS организации. А в первой части начинаем с основ: что такое AWS аккаунт, организация, зачем нужны несколько аккаунтов. С чего стоит начать планирования вашей AWS организации. Стоит ли соблюдать закон Конвея при построении вашей организации. Рекомендуемые Organization Units, или с чего начать проектирование вашей организации. Что делать если у вас микро сервисная архитектура, и как она влияет на построение вашей организации.
Полезные ссылки
Лучшие практики AWS организации
AWS Whitepaper - Organizing Your AWS Environment Using Multiple Accounts
 
 

017. DeepRacer - игровой сервис для изучения ML

DeepRacer - это сервис, позволяющий изучать ML в игровой форме через обучение гоночных машинок поведенческим паттернам для наилучшего прохождения треков. Саша (Solutions Architect, AWS) и Ростислав (Solution Architect, EPAM) в этом эпизоде рассказали в деталях о DeepRacer, о своём решении по управлению бюджетом, а также об опыте проведения DeepRacer ивента на 1000 человек для инженеров с различным бэкграундом и зоной экспертизы - разработчиков, аналитиков, системных инженеров, тестировщиков.
Какие лиги есть в DeepRacer?
Как правильно натренировать вашу модель?
Как именно освоение DeepRacer может впоследствии помочь на проекте?
Полезные ссылки
DeepRacer сервис
DeepRacer лиги
DeepRacer квоты
 

016. Что такое MLOps, а также как правильно выбрать инстанс для ML задач.

После очередного выпуска подкаста, слушатели предложили тему ML, а именно рассказать что такое MLOps и как правильно подбирать EC2 инстанс для ML задач.
Дима Лаптев (Solution Architect) подключился к обсуждению, и мы в деталях разобрали:
Что такое MLOps?
Из каких фаз строиться MLOps - какие шаги включены в CI/CD.
Как именно он связан с DevOps инженерами, и насколько глубоко надо знать ML, чтобы настроить MLOps на проекте.
Как реализовать MLOps в AWS.
MLOps настроен, готовы к продакшену, но какие машины лучше подходят для ML задач. Как правильно инстанс для ML нагрузок.
Полезные ссылки
Build MLOps workflows with Amazon SageMaker projects, GitLab, and GitLab pipelines
MLOps Workload Orchestrator Implementations
Amazon EC2 Instance Types
Amazon SageMaker Pricing - Machine Learning
 

015. Продолжаем говорить про AWS сертификацию

Николай Пойда community builder рассказал о своем опыте сдаче 8 сертификатов.
В этом выпуске вы узнаете:
Кто такой AWS community builder, какие требования к участникам и какие бенефиты программы
История Николая подготовки и сдачи 8-ми сертификатов. В каком порядке Николай сдавал, какие ресурсы использовал (все ссылки ниже).
Мотивация важный компонент в долгом путешествии в мир облачной сертификации. Что именно мотивировало Николая сдать столько сертификатов.
Поможет ли сертификация в карьере, на примере конкретного человека.
Все это и не только в нашем выпуске про сертификацию.
Полезные ссылки
Курс на DA AWS Certified Developer Associate 2022 - Stephane Maarek
AWS Certified Solutions Architect - Professional от Adrian Cantrill
Практические тесты по сертификации.
 

014. Защита веб приложений и как поможет AWS WAF и AWS Shield

Безопасность одна из важнейших задач для AWS, но стоить вопрос как именно защитить веб приложения. В этом выпуске мы подробно обсудили:
- От чего защищаемся? И что такое OWASP Top 10
- Защита сетевого периметра с использованием AWS Network Firewall и AWS Firewall Manager, Security Groups
- Что такое WAF?
- Как он работает.
- Какие WAF правила выбрать и как. На каком уровне модели OSI работает WAF, и каким сервисам можно его подключать.
- Где лучше включать WAF на уровне CDN (CloudFront) или на уровне ALB?
- Стоит ли защищать статический контент?
- Как часто клиенты пишут свои WAF правила? И что такое WCU, и сколько правил стоит применять для своего приложения.
- WAF и капча — как это работает.
- Защита от DDoS
- Шаг назад и разобрали что такое DoS и причем тут rate limiter
- Какие типы атак бывают DoS/DDoS
- Различие AWS Shield и AWS Shield Advanced.
- Еще рекомендации, что вы можете сделать, чтобы защититься от DDoS.
 
Полезные ссылки
- AWS WAF
- AWS Shield
- Automatic application layer DDoS mitigatio - reInvent2021
 
 

013. История построения на проекте DataLake -＞ DataMesh

В этом выпуске ребята из EPAM деляться опытом постороения Data Lake: от разрозненных источников данных к Data Lake и к Data Mesh: как AWS может помочь организации управлять данными.
· Место Data Lake в современной организации. Дата продукты и что из них готовят
· Что предлагает AWS: каждый кейс индивидуален
· DevOps: нетривиальные задачи – нетривиальные решения.
· Безопасность превыше всего: AWS LakeFormation
· Data Mesh как следующее звено эволюции использования данных
 
Ссылки
AWS Lake Formation Workshop
Lake Formation access for federated users
https://martinfowler.com/articles/data-monolith-to-mesh.html
Data-mesh approach using Lake Formation
https://aws.amazon.com/big-data/datalakes-and-analytics/what-is-a-data-lake/
https://ru.coursera.org/learn/introduction-to-designing-data-lakes-in-aws
 
 

012. А что новенького вышло в AWS с марта по апрель?

Новостной выпуск, говорим о последних релизах с марта по апрель.
Новые инстансы в AWS на базе AMD - C6a
Amazon RDS Multi-AZ теперь поддерживает две RO реплики.
Amazon Aurora Serverless v2 теперь в GA. Уточнение Amazon Aurora Serverless v2 - на текущий момент не поддерживает паузу, работает только с первой версией.
AWS Lambda Function URLs - поддержка встроенных HTTPS точек доступа для небольших микросервисов.
AWS Lambda теперь поддерживает до 10 ГБ временного хранилища.
AWS Fargate увеличение скорости масштабирование в 16 раз.
Amazon EKS теперь поддерживает Kubernetes 1.22, все детали этого обновления.
Таймкоды:
00:01:00 - Новые инстансы на базе AMD C6a
00:05:39 - Amazon RDS Multi-AZ
00:08:35 - Amazon Aurora Serverless v2
00:12:35 - AWS Lambda Function URLs
00:16:00 - AWS Lambda supports
00:18:50 - AWS Fargate
00:22:10 - Amazon EKS supports k8s 1.22
00:29:00 - Секция новости одной строкой.
Телеграм канал который был упомянут во время разговора - https://t.me/aws_notes
 

011. Все о AWS сертификации от Viktoria Semaan

AWS предлагает большое количество разнообразных сертификаций, начиная с простого погружения в базовые знания облачных технологий, заканчивая сложными сертификатами уровня Pro (например, AWS Solution Architect Professional). Также существует множество сертификаций с узкой специализацией - базы данных, сети, безопасность и пр. Но стоит ли тратить свое время на подготовку и сдачу сертификатов в 2022-ом году? Какова их ценность и влияет ли прохождение сертификации на повышение уровня вашей экспертизы? Наша гостья Viktoria Semaan помогла разобраться с вопросами:
Нужны ли сертификаты в 2022-ом году?
Как часто работодатели обращают внимание на наличие сертификатов у кандидата?
Стоит ли проходить сертификацию, если нет практического опыта?
Как будет отличаться уровень сертификации Associate level vs Professional AWS Certified Solutions Architect – Associate Certification and AWS Certified Solutions Architect - Professional Certification
Сертификаций много - в каком порядке правильно их сдавать?
Как готовиться к сертификации?
Таймкоды:
00:00:28 - Viktoria Semaan в гостях
00:01:35 - Виктория сдала 3 сертификата за 6 недель
00:05:06 - Нужны ли сертификаты в 2022-ом году?
00:14:35 - Как часто работодатели обращают внимание на наличие сертификатов у кандидата?
00:18:05 - Стоит ли проходить сертификацию, если нет практического опыта?
00:22:15 - Сертификаций много - в каком порядке правильно их сдавать?
00:25:55 - Как будет отличаться уровень сертификации Associate level vs Professional
00:31:33 - Как готовиться к сертификации?
00:36:09 - Стоит ли смотреть на примеры вопросов?
Ссылки
Профиль Viktoria Semaan
Посты от Viktoria Semaan:
AWS Developer Associate Certification
AWS Solutions Architect Professional
Free AWS Training and Certification vouchers for women!
AWS Cloud Quest: Cloud Practitioner (game)
Официальные бесплатные курсы
Бесплатные программы для женщин
https://awsshebuildscloudupcpe.splashthat.com/
https://awsshebuildscloudupsaa.splashthat.com/
Как получить практический опыт:
https://workshops.aws/
https://www.wellarchitectedlabs.com/
https://awsworkshop.io/

010. Миграция аналитики видео платформы из on-prem в Amazon EMR

Сегодня у нас в гостях Сергей Поздняков (Lead Systems Engineer, EPAM), поделился историей как мигрировали аналитику видео платформы на 105Tb данных в Amazon EMR. Рассказал почему решили мигрировать, с какими особенностями столкнулись в процессе миграции, архитектуру решения, почему использовали множество Amazon EMR кластеров, а не один большой. Какие инструменты и подходы использовали для миграции и развертывания инфрастуктуры. А также поделился опытом реализации MapReduce на базе Jenkins-a.
Таймкоды: 00:00:27 - Гость Сергей Поздняков Lead Systems Engineer, EPAM
00:01:47 - Что мигрировали и почему
00:08:25 - С чего начинали миграцию
00:12:23 - Не удачная структура хранения данных
00:15:50 - MapReduce с помощью Jenkins-а
00:20:00 - Проблемы при миграции
00:22:33 - Почему множество Amazon EMR кластеров
00:26:33 - Что сделал бы сейчас по другому
00:29:40 - Инструменты для создания инфраструктуры
00:34:00 - Советы для другихСсылки
Архитектурные разговоры - EMR + Glue + Lambda
 

009. Все о Serverless в AWS

В этом эпизоде мы поговорили про Serverless сервисы в AWS. Мы рассказали об основных сервисах таких как AWS Lambda, API Gateway, EventBridge, SNS, SQS, StepFunctions и как они помогут вам при создании новых микросервисных, event-driven приложений. Рассмотрели типичные сценарии использования этих сервисов и рассказали о лучших практиках их использования, как построить CI/CD для ваших лямбд. Также упомянули некоторые случаи, когда Serverless будет не лучшим вариантом. Таймкоды: 00:00:24 - Рома Бойко в гостях 00:02:28 - Почему serverless00:07:20 - 4 характеристики serverless 00:09:05 - Cписок serverless сервисов в AWS00:12:00 - Основные use-cases 00:16:23 - Как построить CI/CD для serverless00:22:20 - Ограничения Lambda00:24:30 - AWS Lambda power tuning00:28:43 - Разогрев Lambda функцийСсылки
Best practices of advanced serverless developers
AWS Lambda power tuning