Mise à jour de la mise en file d'attente des messages d'Alibaba Cloud rocketmq 5.0: plate - forme de traitement de la fusion des messages, des événements et des flux

Alibaba Cloud Habitat 2021-11-01 16:35:47 阅读数:336

mise jour la mise en

Introduction: RocketMQ5.0 La publication d'Alibaba Cloud a marqué le passage officiel d'Alibaba Cloud à“Message、Événements、Flow”Une nouvelle situation de grande fusion des scènes.L'évolution future des produits de messagerie Cloud d'Alibaba continuera également de se concentrer sur les messages、Événements、Streaming the Core Scenarios to develop.

De“Message”À“Message、Événements、Flow”La grande fusion de

Les files d'attente de messages en tant qu'infrastructure de communication pour les applications contemporaines,Principales dépendances des applications de l'architecture des microservices,Permettre aux utilisateurs de construire des distributions plus efficacement grâce à la capacité de découplage asynchrone、Haute performance、Applications robustes et résistantes.

Du point de vue de la valeur des données et de la valeur commerciale,La valeur des files d'attente de messages s'approfondit.Les données de base de l'entreprise qui circulent dans la file d'attente des messages impliquent une transmission intégrée、Analyser les différents liens et scénarios tels que le calcul et le traitement.Avec l'évolution continue,On peut s'attendre à ce que la file d'attente des messages soit sur le canal de données、Moteur d'intégration d'événements、Des scénarios comme l'analyse et le calcul génèrent constamment de nouvelles valeurs,Créer de nouveaux“Réactions chimiques”.

RocketMQ Né du système interne de commerce électronique d'Alibaba,Jusqu'à aujourd'hui,Son architecture de base a connu plusieurs évolutions clés:

Il y a longtemps 2007 Année,Lorsque le système de commerce électronique Taobao est divisé en services,La première génération de services de messagerie est née Notify,C'est RocketMQ Les premiers embryons.Notify Base de données relationnelle utilisée comme stockage,Utiliser le mode push.Dans un scénario de haute fréquence comme celui d'Ali Taobao,Avec une application très large.

In 2007-2013 Pendant l'année,Avec le développement des activités du Groupe Ali,Non seulement un appel asynchrone du scénario de transaction est nécessaire,En même temps, il est nécessaire de prendre en charge une grande quantité de données enfouies.、Synchronisation des données.En ce moment,Dérivé interne MetaQ Et RocketMQ3.0 Version,Ces deux versions commencent à explorer les moteurs de stockage auto - développés,Stockage de messages propriétaires auto - développés,Prise en charge de la masse autonome Topic,Et l'éliminer prospectivement Zookeeper Dépendances externes des composants égaux.Dix ans plus tard,Nous avons vu une variété de keeper Est devenu le courant dominant du développement dans l'ensemble du domaine de l'information.

Après trois générations de polissage interne,Alibaba participe activement à l'Open source et RocketMQ3.0 Contribuer à la communauté open source,Et 2017 Année Apache Diplôme d'incubateur,Devenir la première Afrique de la Chine Hadoop Écosystèmes Apache Haut de la page projets communautaires.Par la suite,RocketMQ A également commencé à servir les clients d'entreprise d'alicloud.Open Source、Commercial、Stratégie interne de développement de la Trinité,18 Publié en 4.x Édition,Optimisation ciblée en termes de haute fiabilité et de faible latence,Construction d'un nouveau moteur de stockage à faible latence et d'une solution de reprise après sinistre Multi - Scénarios、Et fournit des fonctionnalités de messagerie riches.Ça fait aussi RocketMQ Devenir la solution privilégiée pour les messages d'affaires au niveau financier.

Le mois dernier, la communauté a publié RocketMQ5.0-preview Édition,Annonce officielle 5.0 L'arrivée de.RocketMQ5.0 Ne se limitera plus aux scénarios de base du découplage des messages,Et en unifiant le noyau、Avantages du stockage,Fournir des messages、Événements、Capacité de traitement intégrée des flux.

Rétrospective RocketMQ Plus de 10 ans de développement,Un bon environnement communautaire et un bon soutien aux entreprises permettent à un grand nombre de développeurs d'entreprise de suivre facilement les caractéristiques et les demandes des entreprises pour la sélection et la vérification des modèles..En termes d'influence active de la communauté,RocketMQ Récolte des projets communautaires 15000+Star,Les contributeurs actifs sont: 400+ Bits,Multilingue、Projets actifs environnants tels que la connexion écologique 30+ - Oui.,Populaire auprès des développeurs communautaires.En termes d'échelle d'application,RocketMQ En tant que système de messagerie d'affaires au niveau financier,Accumuler des jeux sur Internet、Éducation en ligne、Titres financiers、Banque、Énergie des entreprises publiques、Des dizaines de milliers de clients d'entreprise dans de nombreuses industries, y compris les voyages automobiles.En même temps,Prise en charge des liens de base au sein d'Alibaba,Flux de messages de niveau billion par jour,J'ai dépassé les sommets de zéro des 11 dernières années..Dans l'évaluation de l'industrie,RocketMQ Et a remporté de nombreux prix.

Déclaration officielle:Alicloud nouvelle génération RocketMQ“Message、Événements、Flow”Plate - forme de traitement de la fusion

Publier la file d'attente de messages d'Alibaba Cloud aujourd'hui RocketMQ Édition 5.0,On appelle ça un guichet unique.“Message、Événements、Flow”Plate - forme de traitement de la fusion.

Deux nouveaux points saillants de la nouvelle version Core,Premièrement, l'extension et la mise en page du scénario de base du message,RocketMQ 5.0 Ne se limite plus aux scénarios de découplage des messages,Mettre en page de nouveaux scénarios axés sur les événements et les messages;Deuxièmement, l'architecture technique et la tendance du traitement de fusion à guichet unique.

“Message、Événements、Flow”L'architecture technique du traitement de fusion à guichet unique peut réaliser un stockage de messages,Prise en charge du streaming des messages、Livraison asynchrone、Plusieurs scénarios pilotés par l'intégration,Réduire considérablement la complexité technique et les coûts d'exploitation et d'entretien du personnel d'affaires.Pour ainsi dire,Qu'il s'agisse d'un appel d'instructions pour un microservice、Notification asynchrone,Toujours CDC Journal des modifications、Données du point d'enfouissement du comportement,Ou exploitation et entretien des ressources、Événements de vérification,Unified RocketMQ5.0 Les piles de produits peuvent être traitées uniformément.

Mainlevée majeure I:RocketMQ Nouvelles mises à niveau de l'infrastructure

Tout d'abord,,La mise à jour la plus importante est alicloud RocketMQ Une architecture technologique entièrement nouvelle.

Tout neuf RocketMQ5.0 La version abaisse la logique de stockage commune,Résolution centralisée des répliques multiples pour le stockage des messages、Faible latence、Problèmes techniques tels que la partition massive des files d'attente,Traitement des messages et séparation de la couche supérieure de la couche de calcul complètement apatride,Principalement pour compléter l'adaptation du Protocole、Gestion des droits、État de la consommation、Soutien au système d'exploitation et d'entretien observable.Conception de l'architecture grâce à la séparation des dépôts et des calculs,De SDK Accès en ligne o & m liaison complète pour une amélioration complète:

  1. Version légère SDK Amélioration des systèmes d'observation en circuit ouvert et en circuit complet:Soutien simultané 4.x Protocole de communication et tout nouveau gRPC Protocole de communication,Et intégré OpenTelemetry Support du point d'enfouissement,Nouvelle version SDK Ajouté 10 Points d'intégration des autres indicateurs.
  2. équilibrage de la charge au niveau du message:Nouvelle version SDK Ne participe plus à l'équilibrage de la charge de la file d'attente de stockage réelle,L'équilibrage de la charge de message sera plus léger,Programmer l'unit é minimale avec un seul message.
  3. Prise en charge de l'accès Multi - réseaux:La nouvelle version prend en charge une seule instance tout en exposant le réseau public、Intranet et autres formes d'accès,Faciliter l'accès Multi - réseau des clients.
  4. Stockage à grande échelle:Nouvelle version de la capacité d'enregistrement des messages d'historique de stockage à plusieurs niveaux ouverts,Message Low Cost no Size Limit,Enregistrement le plus long 30 Oh, mon Dieu..Conception de la séparation des données thermiques et froides,Réduire considérablement l'impact des messages historiques de consommation sur le rendement des instances.

Mainlevée majeure II:RocketMQ Streaming Meilleures pratiques en nuage——MessageETL

Au - delà des capacités accrues de l'infrastructure de messagerie,Alicloud RocketMQ In Streaming Le scénario de streaming introduit des messages légers ETL Fonction.

Changement d'utilisateur dans la base de données、Déclaration des données du terminal、Messages générés par des scénarios tels que le Journal des points enfouis en arrière - plan,Le scénario de consommation typique est la conversion du nettoyage des données.,Stockage externe et analyse hors ligne、Dans le système d'analyse en ligne.Le plan de mise en œuvre traditionnel doit être construit Flink Services informatiques en temps réel de poids égal ou applications de consommation auto - construites pour le traitement des messages.En utilisant la version commerciale RocketMQ ETL Fonction,Une configuration simple de la console permet le nettoyage et la conversion des messages.RocketMQ ETL Trois avantages de la fonction:

  1. Léger sans dépendance:En tant que fonction native du message alicloud,Aucun service informatique externe ou consommateur n'est nécessaire pour l'utiliser,Régime plus léger.
  2. Seuil de développement bas:Modèle de conversion de nettoyage commun intégré,Répondre à la plupart des exigences en matière de traitement du contenu des messages,Et permet aux utilisateurs d'écrire rapidement des fonctions personnalisées pour soutenir une logique d'entreprise spéciale.Les coûts globaux de développement sont très faibles,1 Les affaires peuvent être mises en ligne en quelques heures.
  3. Serverless élasticité:Aucune estimation préalable de la capacité n'est nécessaire,Prendre Serverless Pas de mode Serveur,Extensibilité à la demande.

Mainlevée majeure III:EDA Meilleures pratiques en nuage——Event Center EventBridge

Cette fois RocketMQ Le dernier point de publication est la mise en page et l'évolution des scénarios d'affaires axés sur les événements..Il y a longtemps 2018 Année,Gartner Le rapport d'évaluation EDA(Event-Driven-Architecture) L'une des dix tendances technologiques stratégiques,L'architecture axée sur les événements deviendra le courant dominant des microservices à l'avenir.Commençons par la définition suivante::

Event Driven est essentiellement une mise à niveau de message driven,C'est une entreprise.ITLa prochaine étape nécessaire de l'évolution profonde de l'architecture.

Les différences et les associations entre les architectures axées sur les événements et les architectures axées sur les messages se concentrent principalement sur les trois points suivants::

  1. EDA Mettre davantage l'accent sur le découplage profond:Message Driven is the same Business、Découplage des appels au niveau de l'architecture technique entre les différents composants du système organisationnel,L'encapsulation et le traitement de l'information sont prévus、Prédéfini.L'adaptation axée sur les événements est une entreprise plus vaste、Système organisationnel,Il n'est pas nécessaire de définir les attentes et les comportements entre l'amont et l'aval du découplage basé sur les événements.,Suivre uniformément les spécifications normalisées en amont et en aval,C'est un découplage plus profond.
  2. EDA Mettre davantage l'accent sur la connectivité:Les messages sont plus des appels à l'intérieur d'un seul système,Et les événements ont tendance à impliquer différentes régions、Entité du compte et trois parties SaaS La synergie,L'une des principales caractéristiques des événements est la forte connectivité écologique..
  3. EDA Plus d'emphase Serverless Développement de codes bas:Analogie avec la collaboration entre les messages et les microservices,FUTURE BUSINESS Architecture Serverless La tendance à l'adoption d'un modèle de développement d'entreprise axé sur la configuration à faible Code.Une autre caractéristique importante de la conduite des événements est le faible développement de code,Basé sur une riche capacité d'outils,Le côté commercial n'a pas besoin d'écrire beaucoup de code de production et de consommation comme un message.

Donc,,Alibaba Cloud Unified Event Center EventBridge Le produit apporte les capacités suivantes:

  1. Unified Standardized Event Integration Ecology:En tant que centre d'événements alicloud,Intégration 80 Événements d'affaires pour le solde des produits Cloud,Soutien 800 Plusieurs types d'événements,Utilisation par l'utilisateur EventBridge Vous pouvez gérer les changements de toutes les ressources du produit Cloud en même temps、Événements d'utilisation opérationnelle,Évitez les efforts répétitifs pour amarrer plusieurs interfaces de produits.
  2. Global Event Interchange Network:Mettre en œuvre la capacité d'attribut d'une forte connexion axée sur l'événement,Le réseau mondial d'échange d'événements a été lancé cette fois,Premier lot de soutien à l'échange d'événements entre les cinq principales régions du pays.Les comptes croisés peuvent être réalisés en configurant simplement les clients de l'entreprise、Transterritorialité、Agrégation et flux d'événements à travers le réseau.
  3. Serverless Développement de codes bas:Plus de dix cibles d'événements et modèles de traitement intégrés,Couvre la plupart des scénarios d'affaires,Configuration simple du client、Code bas,Conduite et traitement des événements sans services de déploiement.

Vers l'avenir:Un coup de pouce ferme“Message、Événements、Flow”Développement de la grande intégration

RocketMQ5.0 La publication d'Alibaba Cloud a marqué le passage officiel d'Alibaba Cloud à“Message、Événements、Flow”Une nouvelle situation de grande fusion des scènes.L'évolution future des produits de messagerie Cloud d'Alibaba continuera également de se concentrer sur les messages、Événements、Streaming the Core Scenarios to develop.L'infrastructure de messagerie elle - même doit évoluer,Continuez à avancer. Serverless élasticité、Forte capacité de reprise après sinistre、Progrès observables dans la direction sans o & M,Haute performance pour les clients、Haute fiabilité、Forte tolérance aux catastrophes SLA Services;Et dans Streaming Le scénario sera basé sur les demandes des clients,United Eco - products continue de déployer davantage de services informatiques de traitement de messages;Construire un modèle d'intégration d'entreprise orienté vers l'avenir,Collaborer avec les partenaires écologiques et les communautés de sources ouvertes pour faire progresser le développement axé sur les événements.

Lien vers le texte original

Cet article est le contenu original d'Alibaba Cloud,Ne pas reproduire sans autorisation.

Copyright:Cet article est[Alibaba Cloud Habitat]Établi,Veuillez apporter le lien original pour réimprimer,remercier。 https://fra.fheadline.com/2021/11/20211101163545070O.html