AWS на русском

052. Инновации в Amazon: от книг до облаков!

🚀 Инновации в Amazon: от книг до облаков!
Как превратить идею в революцию? Секреты инновационной культуры Amazon раскрыты в новом выпуске подкаста "AWS на русском"! 📚➡️☁️
Вы узнаете:
• Почему "провал" - это не страшно
• Как работают команды "двух пицц"
• Что такое "однопоточный лидер"
Готовы стать инноватором? Слушайте прямо сейчас и делитесь своими мыслями в комментариях! 💡

051. Миграция баз данных: лучшие практики от AWS - Часть 2

Вторая часть выпуска  о миграции баз данных с экспертом из AWS, Dimitriy Kumundzhiev, Senior Database Engineer из Австралии.
В этом выпуске мы продолжаем обсуждать миграцию баз данных с акцентом на использование AWS DMS и SCT. Вот основные темы, которые мы затронули:
Миграция данных с помощью AWS DMS:
Обсудили различные типы миграции: full load, CDC (Change Data Capture), и валидацию данных.
Как подготовить инфраструктуру AWS для миграции и выбрать подходящий тип репликационного инстанса.
Как использовать ассессмент-скрипты DMS для оценки нагрузки на базу данных Oracle и выявления недостающих ключей.
Гетерогенные миграции и конвертация кода с AWS SCT:
Рассмотрели, как выбирать типы данных при миграции, например, Number() в Oracle и Numeric() в PostgreSQL.
Поделились опытом работы с объектами, содержащими бизнес-логику: процедурами, функциями и триггерами.
Обсудили сложности конвертации Oracle пакетов и почему AWS SCT не всегда может автоматически конвертировать весь код.
Тестирование кода при конвертации:
Обсудили важность наличия тестов на базе данных и сложности их написания.
Рассказали о фреймворках для тестирования, таких как PgTAP для PostgreSQL и utPLSQL для Oracle.
DevOps автоматизация в сложных миграциях:
Поделились подходами к автоматизации процессов миграции с использованием CodeCommit, CodeBuild и других AWS сервисов.
Рассмотрели альтернативы, такие как TeamCity и Jenkins, и их использование для автоматизации.
Быстрый деплой кода базы данных:
Обсудили, как быстро развернуть код базы данных в окно миграции с помощью Liquibase.
Рассказали о преимуществах использования Liquibase для управления зависимостями объектов и ускорения деплоя индексов.
Этот выпуск подкаста — кладезь полезной информации для тех, кто занимается миграцией баз данных и хочет узнать больше о лучших практиках и инструментах AWS. Если у вас есть вопросы или интересные темы для обсуждения, пишите https://t.me/ViktorVedmich, и мы обязательно вернемся к ним в будущих выпусках.
Слушайте, подписывайтесь и делитесь с коллегами!

050. Новости за первое полугодие 2024 в AWS

В новом выпуске подкаста “AWS на русском” мы с Михаилом (Principal Solutions Architect) обсудим последние новости и обновления из мира AWS. Поделимся впечатлениями от недавних поездок и мероприятий, а также поговорим о новых функциях и сервисах, которые помогут вам в работе.
Что обсудили в выпуске:
Amazon WorkSpaces Pools: Эффективное решение для виртуальных рабочих столов.
Мы обсудим не только эту функцию, но и общий подход к удаленной разработке, включая VDI и CodeCatalyst с девелопмент-энвайронментами.
Amazon CodeCatalyst: Теперь поддерживает репозитории GitLab и Bitbucket, с кастомными блюпринтами и функцией Amazon Q для разработки
Anthropic’s Claude 3.5 Sonnet модель в Amazon Bedrock: Ещё больше интеллекта по более низкой стоимости.
Общий обзор моделей Claude 3, а также других крутых моделей, таких как Mistral и Llama 3 от Meta.
Обсуждение новых функций, перешедших в GA, таких как Guardrails, Agents и Model Evaluation.
AWS слушает своих клиентов: Обновление Amazon S3 - теперь нет платы за запросы с HTTP-кодами ошибок
Одной строкой:
Безопасность: Amazon GuardDuty Malware Protection для Amazon S3.
Безопасность: Обновление IAM Access Analyzer - расширение проверок пользовательских политик и управляемое отзывавание.
Безопасность: AWS добавляет поддержку passkey для многофакторной аутентификации (MFA) для рутовых и IAM пользователей.
EC2: Новые БОЛЬШИЕ инстансы Amazon EC2 U7i для больших баз данных в памяти, сертифицированы для SAP HANA.
Сертификации: Две новые сертификации AWS - AWS Certified AI Practitioner и AWS Certified Machine Learning Engineer – Associate.
Присоединяйтесь, чтобы быть в курсе всех последних обновлений.

049. Миграция баз данных: лучшие практики от AWS

В новом выпуске говорим о миграции баз данных с экспертом из AWS, Dimitriy Kumundzhiev, Senior Database Engineer из Австралии. Обсуждаем:
Типы миграций: гомо/гетеро и сложные/простые
Почему компании выбирают миграцию баз данных
Ассесмент с помощью AWS SCT или Ora2PG
Как выбрать целевую СУБД
Оценка стоимости миграции по времени
Оценка стоимости дальнейшей поддержки и девелопмента
Пример с отправкой email через UTL_HTTP
Гомо миграции в виде lift and shift: On-prem to Cloud/Cloud to Cloud
Использование AWS Fleet Advisor для выбора размера инстанса
Начинаем говорить про AWS DMS
AWS Snowball для больших объемов данных (> 1Pb)
Общая архитектура DMS и его компоненты
Replication Instance (RI) как EC2 машина с кодом на борту
Migration Task как инструкция для RI
Продолжение следует! Во второй части мы углубимся в детали AWS DMS и обсудим практические примеры миграций. Присоединяйтесь, чтобы узнать все тонкости миграции баз данных!

048. Аутентификация и авторизация с AWS Cognito

Сегодня мы обсуждаем одну из самых не простых тем в мире AWS — аутентификацию и авторизацию. Вместе с нашим гостем, Artsiom Rachytski, Senior Solutions Architect AWS, мы разберем эти непростые, но очень важные понятия.
Разобрали:
Что такое аутентификация: современные подходы, OAuth и JWT (SAML 2.0.)
Как можно реализовать аутентификацию в приложении с помощью Cognito: Hosted UI, SDK, API
Cognito User Pools vs Identity Pools
Кастомизация в Cognito и интеграция с сервисами AWS на примере API Gateway
Как не нужно кастомизировать: лимиты в Cognito
Чем авторизация отличается от аутентификации
Почему Cognito не решает задачу авторизации и какой сервис ее решает (Amazon Verified Permissions)
Если вам показалось мало, вот тут можно посмотреть и почитать больше
RBAC с Amazon Cognito через интеграцию с внешним IdP: https://aws.amazon.com/blogs/security/role-based-access-control-using-amazon-cognito-and-an-external-identity-provider/Видео с ANZ Summit 2022: Application Identity с помощью Amazon Cognito: https://www.youtube.com/watch?v=8xmJv1f9WLk 

047. Как запустить LLM (generative AI) на AWS

Хотите понять, как работать с большими языковыми моделями в облаке AWS? В этом выпуске мы пригласили Рустема (Rustem Feyzkhanov) - специалиста по машинному обучению и AWS Hero. Мы подробно разобрали разные варианты деплоя LLM:
 
•Amazon Bedrock - сервис для быстрого запуска популярных моделей
•Amazon SageMaker JumpStart - кастомные модели в пару кликов
•Hugging Face Estimator - доступ к библиотеке моделей Hugging Face
•Развертывание в контейнерах ECS и на GPU-инстансах EC2
•AWS Lambda - какие особенности надо учесть при таком запуске
 
С чего начать, что выбрать под свой кейс, как оптимизировать затраты - ответы в подкасте.
 
Слушайте, пробуйте!
 
Ссылки упомянутые во время подкаста:
 
Слайды с Реинвента https://www.dropbox.com/scl/fi/m72mosktms8k43q4ktpsx/Feyzkhanov_AWS_GenAI_Services_And_Options.pdf?rlkey=2p35imid8xxbhjyfunbj2m9ya&dl=0
Пример Mistral 7B на SageMaker JumpStart https://aws.amazon.com/blogs/machine-learning/mistral-7b-foundation-models-from-mistral-ai-are-now-available-in-amazon-sagemaker-jumpstart/
Использование HuggingFace для деплоя моделей на SageMaker https://huggingface.co/docs/sagemaker/inference
Использование AWS Lambda для хостинга Mistral 7B https://aws.plainenglish.io/serverless-compute-for-llm-with-a-step-by-step-guide-for-hosting-mistral-7b-on-aws-lambda-0a267e153cae
Использование ECS Fargate для хостинга LLAMA 2 https://aws.plainenglish.io/guide-for-running-llama-2-using-llama-cpp-on-aws-fargate-7086bcd1ed3c
Hugging face Inferentia 2 https://huggingface.co/blog/inferentia-llama2

046. Бережливый архитектор

Бережливый архитектор (frugal architect) - это не просто слова, это философия работы с облачными ресурсами, где каждый цент на счету. На конференции reInvent 2023 CTO Amazon Werner Vogels представил семь законов бережливого архитектора, которые помогут сделать ваш проект не только более экономичным, но и эффективным. В этом выпуске подкаста мы вместе с архитекторами AWS глубже погрузимся в эти законы и посмотрим, как они могут быть применены на практике.
Ссылка на законы https://www.thefrugalarchitect.com/ 

045. Оптимизация и тестирование Serverless в AWS

В это выпуске мы погружаемся в мир serverless-архитектуры и обсуждаем, как не только оптимизировать использование AWS Lambda, но и как обеспечить лучший developer experience. Рома, опытный Solutions Architect, дает практические советы по работе с serverless и демистифицирует процесс локального запуска и тестирования Lambda-функций.
Мы начинаем с вопроса, который волнует многих разработчиков: "Как мне запускать лямбду локально?" Рома объясняет, что, хотя локальный запуск возможен, он не всегда эффективен из-за интеграции лямбды с другими сервисами AWS. Вместо попыток воссоздать полноценную среду AWS локально, мы рассматриваем стратегии для тестирования и дебаггинга непосредственно в облаке.Для улучшения developer experience обсуждаются такие инструменты, как SAM (Serverless Application Model) и его функция Accelerate, которая позволяет быстро деплоить изменения в облако и просматривать логи в реальном времени. Также мы углубляемся в интеграцию SAM с другими инструментами, такими как CDK (Cloud Development Kit) и Terraform.Рома делится своим опытом использования AWS Power Tools, набора библиотек, упрощающих разработку Lambda-функций, включая автоматизацию структурированного логирования, создание пользовательских метрик и трассировку.
Наконец, мы затрагиваем тему тестирования serverless-приложений. Разработчикам рекомендуется писать юнит-тесты, а также проводить интеграционное и end-to-end тестирование в облачной среде, используя тестовые лямбда-функции для мониторинга асинхронных событий.
 
Ссылки:
https://awslabs.github.io/aws-lambda-powertools-python

044. Кто такой аккаунт-менеджер в AWS?

В новом выпуске подкаста 'AWS на русском' мы раскрываем роль аккаунт-менеджера (AM). С нами в гостях опытный аккаунт-менеджер Юлия Андреевна, которая делится инсайдами о том, как строятся отношения с клиентами в AWS. Обсуждаем, что скрывается за кулисами работы аккаунт-менеджеров и какие навыки необходимы для успешной карьеры в этой роли. Юлия также рассказывает о том, как AM-ы AWS сочетают понимание бизнес-процессов клиентов с знанием технологических решений, чтобы предлагать оптимальные пути развития и поддержки. Особое внимание уделяется важности способности к быстрому принятию решений, ориентации на клиента и стремлению к достижению конкретных результатов.

043. Разбираем AWS reInvent 2023: часть 3-ая

Продолжаем обсуждение новинок с reInvent 2023. Это третья и заключительная часть нашего обзора.
🚀 Хаос-инжиниринг
Мы начинаем с хаос-инжиниринга – методологии, проверяющей стойкость системы к потенциальным сбоям. Рассмотрели новые функции AWS Fault Injector Simulator, добавившиеся сценарии - обрывы питания и кросс-региональные обрывы связи.
📦 Базы данных и хранилище: Amazon Aurora Limitless и Amazon S3 Express One Zone Storage Class
Далее переходим к Amazon Aurora Limitless – революционному подходу к масштабированию баз данных. Обсудили, как благодаря новым технологиям синхронизации времени транзакции обрабатываются с невероятной скоростью.
Важное обновление касается Amazon S3 – новый класс хранения Express One Zone, увеличивающий скорость работы с данными в облаке.
🔄 Прощай, ETL: Новая эра аналитики (Zero ETL)
Обсудили концепцию Zero ETL, упрощающую процесс интеграции данных и сокращающую необходимые для этого время и ресурсы. Новые интеграции OpenSearch с S3 и другие открывают новые возможности для аналитических задач.
📡 Project Kuiper: Интернет из космоса
И наконец, мы затрагиваем Project Kuiper – амбициозный проект Amazon по созданию спутниковой сети для предоставления высокоскоростного интернета во всем мире.