AWS на русском

048. Аутентификация и авторизация с AWS Cognito

Сегодня мы обсуждаем одну из самых не простых тем в мире AWS — аутентификацию и авторизацию. Вместе с нашим гостем, Artsiom Rachytski, Senior Solutions Architect AWS, мы разберем эти непростые, но очень важные понятия.
Разобрали:
Что такое аутентификация: современные подходы, OAuth и JWT (SAML 2.0.)
Как можно реализовать аутентификацию в приложении с помощью Cognito: Hosted UI, SDK, API
Cognito User Pools vs Identity Pools
Кастомизация в Cognito и интеграция с сервисами AWS на примере API Gateway
Как не нужно кастомизировать: лимиты в Cognito
Чем авторизация отличается от аутентификации
Почему Cognito не решает задачу авторизации и какой сервис ее решает (Amazon Verified Permissions)
Если вам показалось мало, вот тут можно посмотреть и почитать больше
RBAC с Amazon Cognito через интеграцию с внешним IdP: https://aws.amazon.com/blogs/security/role-based-access-control-using-amazon-cognito-and-an-external-identity-provider/Видео с ANZ Summit 2022: Application Identity с помощью Amazon Cognito: https://www.youtube.com/watch?v=8xmJv1f9WLk 

047. Как запустить LLM (generative AI) на AWS

Хотите понять, как работать с большими языковыми моделями в облаке AWS? В этом выпуске мы пригласили Рустема (Rustem Feyzkhanov) - специалиста по машинному обучению и AWS Hero. Мы подробно разобрали разные варианты деплоя LLM:
 
•Amazon Bedrock - сервис для быстрого запуска популярных моделей
•Amazon SageMaker JumpStart - кастомные модели в пару кликов
•Hugging Face Estimator - доступ к библиотеке моделей Hugging Face
•Развертывание в контейнерах ECS и на GPU-инстансах EC2
•AWS Lambda - какие особенности надо учесть при таком запуске
 
С чего начать, что выбрать под свой кейс, как оптимизировать затраты - ответы в подкасте.
 
Слушайте, пробуйте!
 
Ссылки упомянутые во время подкаста:
 
Слайды с Реинвента https://www.dropbox.com/scl/fi/m72mosktms8k43q4ktpsx/Feyzkhanov_AWS_GenAI_Services_And_Options.pdf?rlkey=2p35imid8xxbhjyfunbj2m9ya&dl=0
Пример Mistral 7B на SageMaker JumpStart https://aws.amazon.com/blogs/machine-learning/mistral-7b-foundation-models-from-mistral-ai-are-now-available-in-amazon-sagemaker-jumpstart/
Использование HuggingFace для деплоя моделей на SageMaker https://huggingface.co/docs/sagemaker/inference
Использование AWS Lambda для хостинга Mistral 7B https://aws.plainenglish.io/serverless-compute-for-llm-with-a-step-by-step-guide-for-hosting-mistral-7b-on-aws-lambda-0a267e153cae
Использование ECS Fargate для хостинга LLAMA 2 https://aws.plainenglish.io/guide-for-running-llama-2-using-llama-cpp-on-aws-fargate-7086bcd1ed3c
Hugging face Inferentia 2 https://huggingface.co/blog/inferentia-llama2

046. Бережливый архитектор

Бережливый архитектор (frugal architect) - это не просто слова, это философия работы с облачными ресурсами, где каждый цент на счету. На конференции reInvent 2023 CTO Amazon Werner Vogels представил семь законов бережливого архитектора, которые помогут сделать ваш проект не только более экономичным, но и эффективным. В этом выпуске подкаста мы вместе с архитекторами AWS глубже погрузимся в эти законы и посмотрим, как они могут быть применены на практике.
Ссылка на законы https://www.thefrugalarchitect.com/ 

045. Оптимизация и тестирование Serverless в AWS

В это выпуске мы погружаемся в мир serverless-архитектуры и обсуждаем, как не только оптимизировать использование AWS Lambda, но и как обеспечить лучший developer experience. Рома, опытный Solutions Architect, дает практические советы по работе с serverless и демистифицирует процесс локального запуска и тестирования Lambda-функций.
Мы начинаем с вопроса, который волнует многих разработчиков: "Как мне запускать лямбду локально?" Рома объясняет, что, хотя локальный запуск возможен, он не всегда эффективен из-за интеграции лямбды с другими сервисами AWS. Вместо попыток воссоздать полноценную среду AWS локально, мы рассматриваем стратегии для тестирования и дебаггинга непосредственно в облаке.Для улучшения developer experience обсуждаются такие инструменты, как SAM (Serverless Application Model) и его функция Accelerate, которая позволяет быстро деплоить изменения в облако и просматривать логи в реальном времени. Также мы углубляемся в интеграцию SAM с другими инструментами, такими как CDK (Cloud Development Kit) и Terraform.Рома делится своим опытом использования AWS Power Tools, набора библиотек, упрощающих разработку Lambda-функций, включая автоматизацию структурированного логирования, создание пользовательских метрик и трассировку.
Наконец, мы затрагиваем тему тестирования serverless-приложений. Разработчикам рекомендуется писать юнит-тесты, а также проводить интеграционное и end-to-end тестирование в облачной среде, используя тестовые лямбда-функции для мониторинга асинхронных событий.
 
Ссылки:
https://awslabs.github.io/aws-lambda-powertools-python

044. Кто такой аккаунт-менеджер в AWS?

В новом выпуске подкаста 'AWS на русском' мы раскрываем роль аккаунт-менеджера (AM). С нами в гостях опытный аккаунт-менеджер Юлия Андреевна, которая делится инсайдами о том, как строятся отношения с клиентами в AWS. Обсуждаем, что скрывается за кулисами работы аккаунт-менеджеров и какие навыки необходимы для успешной карьеры в этой роли. Юлия также рассказывает о том, как AM-ы AWS сочетают понимание бизнес-процессов клиентов с знанием технологических решений, чтобы предлагать оптимальные пути развития и поддержки. Особое внимание уделяется важности способности к быстрому принятию решений, ориентации на клиента и стремлению к достижению конкретных результатов.

043. Разбираем AWS reInvent 2023: часть 3-ая

Продолжаем обсуждение новинок с reInvent 2023. Это третья и заключительная часть нашего обзора.
🚀 Хаос-инжиниринг
Мы начинаем с хаос-инжиниринга – методологии, проверяющей стойкость системы к потенциальным сбоям. Рассмотрели новые функции AWS Fault Injector Simulator, добавившиеся сценарии - обрывы питания и кросс-региональные обрывы связи.
📦 Базы данных и хранилище: Amazon Aurora Limitless и Amazon S3 Express One Zone Storage Class
Далее переходим к Amazon Aurora Limitless – революционному подходу к масштабированию баз данных. Обсудили, как благодаря новым технологиям синхронизации времени транзакции обрабатываются с невероятной скоростью.
Важное обновление касается Amazon S3 – новый класс хранения Express One Zone, увеличивающий скорость работы с данными в облаке.
🔄 Прощай, ETL: Новая эра аналитики (Zero ETL)
Обсудили концепцию Zero ETL, упрощающую процесс интеграции данных и сокращающую необходимые для этого время и ресурсы. Новые интеграции OpenSearch с S3 и другие открывают новые возможности для аналитических задач.
📡 Project Kuiper: Интернет из космоса
И наконец, мы затрагиваем Project Kuiper – амбициозный проект Amazon по созданию спутниковой сети для предоставления высокоскоростного интернета во всем мире.

042. Разбираем AWS reInvent 2023: часть 2-ая Generative AI

Продолжаем обсуждать новинки из reInvent 2023 🚀. Новый выпуск полностью посвящен обсуждению Generative A. В частности, мы обсудили такие сервисы, как Amazon Q, Amazon Bedrock, векторные базы данных, новое железо для AI, создание своего RAG и многое другое. 🤖
Ссылки на обзор всех новостей вы можете найти ниже. 
AWS announces vector search for Amazon MemoryDB for Redis (Preview)
Amazon CloudWatch announces AI-powered natural language query generation (in preview)
AWS announces Amazon Q (Preview)
Boost generative AI application development with Agents for Amazon Bedrock
Amazon Q offers help to optimize EC2 instance type selection (preview)
Meta Llama 2, Cohere Command Light, and Amazon Titan FMs can now be fine-tuned in Amazon Bedrock
Safeguard generative AI applications with Guardrails for Amazon Bedrock (Preview)
Knowledge Bases for Amazon Bedrock is now generally available
Amazon Titan Text models—Express and Lite—now generally available in Amazon Bedrock
Amazon Titan Multimodal Embeddings foundation model now generally available in Amazon Bedrock
Stable Diffusion XL 1.0 foundation model from Stability AI is now generally available in Amazon Bedrock
Llama 2 70B foundation model from Meta is now available in Amazon Bedrock
Claude 2.1 foundation model from Anthropic is now generally available in Amazon Bedrock
Evaluate, compare, and select the best FMs for your use case in Amazon Bedrock (Preview)
Amazon Q generative SQL is now available in Amazon Redshift Query Editor (preview)

041. Разбираем AWS reInvent 2023: часть 1-ая

🎙️ Добро пожаловать в первый подкаст 2024 года, где мы обсуждаем самые свежие и значимые анонсы AWS reInvent 2023. Узнайте о последних инновациях в Kubernetes, роли AI в разработке и как Amazon CodeWhisperer поможет написать CDK, CloudFormation и Terraform код.
🔍 Мы также глубоко погружаемся в новые стратегии управления и оптимизации затрат AWS, раскрывая, как эти изменения могут повлиять на вашу ежедневную работу. От нового объединенного интерфейса биллинга до улучшенных инструментов для анализа затрат – узнайте, как эффективно управлять ресурсами и сокращать расходы.
💡 Не пропустите уникальные впечатления от Keynote Вернера и узнайте, как философия "Frugal Architect" может вдохновить вас на новые подходы в разработке. Подключайтесь к нам, чтобы быть в курсе самых актуальных трендов и инноваций в мире AWS!
 
Ссылки на обзор всех новостей вы можете найти ниже. 
 
Amazon Web Services announces Unified Billing and Cost Management console
Introducing Cost Optimization Hub
Announcing Data Exports for AWS Billing and Cost Management
Amazon CloudWatch Application Signals for automatic instrumentation of your applications
Announcing new Amazon EC2 R8g instances powered by AWS Graviton4 processors (Preview)
Amazon EKS introduces EKS Pod Identity
AWS CloudFormation introduces Git management of stacks
Introducing the Amazon CodeCatalyst Enterprise Tier
Announcing custom blueprints for Amazon CodeCatalyst
AWS Application Composer announces AWS Step Functions Workflow Studio integration
Amazon GuardDuty now supports runtime monitoring for Amazon EC2 (Preview)
Introducing Amazon GuardDuty ECS Runtime Monitoring, including AWS Fargate
Amazon Inspector agentless vulnerability assessments for Amazon EC2 now in preview

040. Кто же такой Solutions Architect в AWS

👨‍💻 В этом выпуске обсуждаем кто же такой  Solutions Architects в AWS. Вы узнаете, кто они такие, чем отличаются от других видов архитекторов, чем занимаются и многое-многое другое.
💡 Основные темы:1. Кто такой Solutions Architect?    - Почему именно Solutions, а не Cloud или Systems Architect.2. Основные навыки архитектора:    - От технической базы до умения вести диалог с бизнесом.3. Роль Solutions Architect в AWS:    - Всё от общения с клиентами до экспертизы и оценки архитектуры.4. Как стать архитектором?    - Практические советы для вашего карьерного роста.5. Разнообразие архитекторов:    - Какие они бывают и в чем их специфика.6. SA в AWS против Enterprise SA:    - Основные различия.7. Principal Software Engineer и Solutions Architecture:    - В чем разница?8. Можно ли обойтись без архитектора?    - Как оценить эффективность SA.9. Карьерный рост в архитектуре:    - От SA до Principal SA.
🌟 Этот выпуск будет особенно полезен для тех, кто стремится понять, как строится карьера в области архитектуры в IT, какие навыки нужны для успеха, и как Solutions Architect влияют на успех проектов и компаний.

039.Оптимизируем AWS Lambda

Хотите сэкономить на использовании AWS Lambda и повысить производительность функций? В этом выпуске подкаста мы подробно разберем способы оптимизации serverless приложений и раскроем неочевидные на первый взгляд тонкости настройки Lambda.
Мы начнем с того, как правильно выбрать объем оперативной памяти для функций. Оказывается, это напрямую влияет на производительность и стоимость.
Далее разберем технологию Snap Start, которая позволяет минимизировать холодные старты Java функций.
Поговорим о предварительном создании пула функций с Provisioned Concurrency. Это хороший способ ускорить отклик критичных Lambda.
Также узнаем, как использование компилируемых языков вроде Rust и Go вместо интерпретируемых может значительно прибавить скорость выполнения кода.
И еще много других полезных советов - от фильтрации ненужных событий до оптимальной инициализации функций.
В общем, если хотите выжать максимум из Lambda - обязательно послушайте этот выпуск!
 
Список полезных ссылок:
https://github.com/alexcasalboni/aws-lambda-power-tuning
https://awslabs.github.io/aws-lambda-powertools-python/2.16.2/
https://awslabs.github.io/aws-lambda-powertools-typescript/latest/
https://awslabs.github.io/aws-lambda-powertools-java/
https://aws.amazon.com/blogs/compute/optimizing-aws-lambda-cost-and-performance-using-aws-compute-optimizer/