Le Big Data et la blockchain constituent une avancée majeure dans le domaine de l’analyse des données. Big Data

Moscou_Exchange 6 mai 2015 à 20h38

Revue analytique du marché du Big Data

Blog de la société Exchange de Moscou,
Big Data

"Big Data" est un sujet activement discuté par les entreprises technologiques. Certains d'entre eux sont désillusionnés par le Big Data, tandis que d'autres, au contraire, en profitent pour faire des affaires... Une nouvelle étude analytique du marché national et mondial du Big Data, préparée par la Bourse de Moscou en collaboration avec les analystes d'IPOboard , montre quelles tendances sont actuellement les plus pertinentes sur le marché . Nous espérons que les informations seront intéressantes et utiles.

QU'EST-CE QUE LE BIG DATA ?

Principales caractéristiques

Le Big Data est actuellement l’un des principaux moteurs du développement des technologies de l’information. Cette orientation, relativement nouvelle pour les entreprises russes, s'est généralisée dans les pays occidentaux. Cela est dû au fait qu'à l'ère des technologies de l'information, notamment après le boom des réseaux sociaux, une quantité importante d'informations a commencé à s'accumuler pour chaque internaute, ce qui a finalement donné lieu au développement du Big Data.

Le terme « Big Data » suscite beaucoup de controverses ; beaucoup pensent qu'il désigne uniquement la quantité d'informations accumulées, mais il ne faut pas oublier l'aspect technique ; ce domaine inclut les technologies de stockage, l'informatique et les services.

Il est à noter que ce domaine inclut le traitement d'une grande quantité d'informations, difficiles à traiter avec les méthodes traditionnelles*.

Ci-dessous se trouve tableau de comparaison bases de données traditionnelles et Big Data.

Le domaine du Big Data se caractérise par les caractéristiques suivantes :
Volume – volume, la base de données accumulée représente une grande quantité d’informations qui demandent beaucoup de travail à traiter et à stocker de manière traditionnelle ; elles nécessitent une nouvelle approche et des outils améliorés.
Rapidité – la vitesse, ce signe indique à la fois la vitesse croissante d’accumulation des données (90% des informations ont été collectées au cours des 2 dernières années) et la vitesse de traitement des données, en Dernièrement Les technologies de traitement des données en temps réel sont devenues de plus en plus demandées.
Variété – la diversité, c'est-à-dire la capacité de traiter simultanément des informations structurées et non structurées de différents formats. La principale différence entre les informations structurées est qu'elles peuvent être classifiées. Un exemple de telles informations serait les informations sur les transactions des clients.
Les informations non structurées comprennent les vidéos, les fichiers audio, le texte libre et les informations provenant des réseaux sociaux. Aujourd’hui, 80 % des informations sont non structurées. Cette information nécessite une analyse complexe pour le rendre utile pour un traitement ultérieur.
Véracité – la fiabilité des données, les utilisateurs ont commencé à attacher une importance croissante à la fiabilité des données disponibles. Ainsi, les sociétés Internet ont du mal à séparer les actions effectuées par un robot et une personne sur le site Internet de l’entreprise, ce qui entraîne finalement des difficultés d’analyse des données.
Valeur – la valeur des informations accumulées. Le Big Data doit être utile à l’entreprise et lui apporter de la valeur. Par exemple, aider à l'amélioration des processus commerciaux, au reporting ou à l'optimisation des coûts.

Si les 5 conditions ci-dessus sont remplies, les volumes de données accumulés peuvent être classés comme importants.

Domaines d'application du Big Data

Le champ d’application des technologies Big Data est vaste. Ainsi, avec l'aide du Big Data, vous pouvez connaître les préférences des clients, l'efficacité des campagnes marketing ou effectuer une analyse des risques. Vous trouverez ci-dessous les résultats d'une enquête de l'IBM Institute sur les domaines d'utilisation du Big Data dans les entreprises.

Comme le montre le diagramme, la plupart des entreprises utilisent le Big Data dans le domaine du service client, le deuxième domaine le plus populaire est l'efficacité opérationnelle ; dans le domaine de la gestion des risques, le Big Data est actuellement moins courant.

Il convient également de noter que le Big Data est l'un des domaines des technologies de l'information qui connaissent la croissance la plus rapide : selon les statistiques, la quantité totale de données reçues et stockées double tous les 1,2 ans.
Pour la période de 2012 à 2014, la quantité de données transférées mensuellement les réseaux mobiles, a augmenté de 81%. Selon les estimations de Cisco, en 2014, le volume trafic mobile s'élevait à 2,5 exaoctets (une unité de mesure de la quantité d'informations égale à 10^18 octets standard) par mois, et déjà en 2019, il sera égal à 24,3 exaoctets.
Ainsi, le Big Data est un domaine technologique déjà établi, même malgré son âge relativement jeune, qui s'est répandu dans de nombreux domaines d'activité et joue un rôle important dans le développement des entreprises.

Technologies du Big Data

Les technologies utilisées pour la collecte et le traitement du Big Data peuvent être divisées en 3 groupes :

Logiciel;
Équipement;
Prestations de service.

Les approches de traitement des données (DP) les plus courantes comprennent :
SQL – un langage de requête structuré qui permet de travailler avec des bases de données. À l'aide de SQL, vous pouvez créer et modifier des données, et la gestion du tableau de données est gérée par le système de gestion de base de données correspondant.
NoSQL – le terme signifie Not Only SQL (pas seulement SQL). Il comprend un certain nombre d'approches visant à implémenter une base de données qui diffèrent des modèles utilisés dans les SGBD relationnels traditionnels. Ils sont pratiques à utiliser lorsque la structure des données change constamment. Par exemple, pour collecter et stocker des informations sur les réseaux sociaux.
CarteRéduire – modèle de répartition des calculs. Est utilisé pour traitement en parallèle sur de très grands ensembles de données (pétaoctets* ou plus). DANS interface logicielle Ce ne sont pas les données qui sont transférées au programme pour traitement, mais le programme aux données. Ainsi, la demande est un programme distinct. Le principe de fonctionnement est de traiter séquentiellement les données à l'aide de deux méthodes : Mapper et Réduire. Map sélectionne les données préliminaires, Réduire les agrège.
Hadoop – utilisé pour mettre en œuvre des mécanismes de recherche et contextuels pour les sites à forte charge - Facebook, eBay, Amazon, etc. Une particularité est que le système est protégé contre la défaillance de l'un des nœuds du cluster, puisque chaque bloc possède au moins une copie du données sur un autre nœud.
SAP HANA – plateforme NewSQL haute performance pour le stockage et le traitement des données. Fournit une vitesse élevée de traitement des demandes. Une autre caractéristique distinctive est que SAP HANA simplifie l'environnement système, réduisant ainsi le coût de prise en charge des systèmes analytiques.

À équipement technologique inclure:

les serveurs;
équipements d'infrastructures.

Les serveurs incluent le stockage de données.
L'équipement d'infrastructure comprend des outils d'accélération de plate-forme, des sources Alimentation sans interruption, ensembles de consoles serveur, etc.

Prestations de service.
Les services comprennent des services permettant de construire l'architecture d'un système de base de données, d'organiser et d'optimiser l'infrastructure et d'assurer la sécurité du stockage des données.

Les logiciels, le matériel et les services forment ensemble des plates-formes complètes pour le stockage et l'analyse des données. Des entreprises telles que Microsoft, HP, EMC proposent des services pour le développement, le déploiement et la gestion de solutions Big Data.

Applications dans les industries

Le Big Data s’est répandu dans de nombreux secteurs d’activité. Ils sont utilisés dans les secteurs de la santé, des télécommunications, du commerce, de la logistique, des sociétés financières ainsi que dans l'administration gouvernementale.
Vous trouverez ci-dessous quelques exemples d'applications Big Data dans certains secteurs.

Vente au détail
Les bases de données des magasins de détail peuvent accumuler de nombreuses informations sur les clients, les systèmes de gestion des stocks et les approvisionnements en produits commerciaux. Ces informations peuvent être utiles dans tous les domaines d’activité du magasin.

Ainsi, à l'aide des informations accumulées, vous pouvez gérer l'approvisionnement des marchandises, leur stockage et leur vente. Sur la base des informations accumulées, il est possible de prédire la demande et l’offre de biens. En outre, un système de traitement et d'analyse de données peut résoudre d'autres problèmes d'un détaillant, par exemple l'optimisation des coûts ou la préparation de rapports.

Services financiers
Le Big Data permet d’analyser la solvabilité de l’emprunteur et est également utile pour le credit scoring* et la souscription**. L'introduction des technologies Big Data réduira le temps d'examen des demandes de prêt. Grâce au Big Data, il est possible d'analyser les transactions d'un client spécifique et de lui proposer des services bancaires qui lui conviennent.

Télécom
Dans le secteur des télécommunications, le Big Data s’est largement répandu auprès des opérateurs mobiles.
Les opérateurs communication cellulaire Avec les organisations financières, ils disposent de l'une des bases de données les plus volumineuses, ce qui leur permet de procéder à l'analyse la plus approfondie des informations accumulées.
L’objectif principal de l’analyse des données est de fidéliser les clients existants et d’en attirer de nouveaux. Pour ce faire, les entreprises segmentent les clients, analysent leur trafic et déterminent l'affiliation sociale de l'abonné.

En plus d’utiliser le Big Data à des fins marketing, les technologies sont utilisées pour empêcher les transactions financières frauduleuses.

Industries minières et pétrolières
Le Big Data est utilisé aussi bien dans l’extraction des minéraux que dans leur transformation et leur commercialisation. Sur la base des informations reçues, les entreprises peuvent tirer des conclusions sur l'efficacité du développement des champs, surveiller le calendrier des réparations majeures et l'état des équipements et prévoir la demande de produits et les prix.

Selon une enquête de Tech Pro Research, le Big Data est le plus répandu dans le secteur des télécommunications, ainsi que dans les entreprises d'ingénierie, informatiques, financières et gouvernementales. Selon les résultats cette enquête, le Big Data est moins populaire dans l’éducation et la santé. Les résultats de l’enquête sont présentés ci-dessous :

Exemples d'utilisation du Big Data en entreprise

Aujourd'hui, le Big Data est activement mis en œuvre dans les entreprises étrangères. Des entreprises telles que Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks et Netflix utilisent déjà les ressources du Big Data.

Les applications des informations traitées sont variées et varient en fonction du secteur et des tâches à effectuer.
Ensuite, des exemples d'application pratique des technologies Big Data seront présentés.

HSBC utilise les technologies Big Data pour lutter contre les transactions frauduleuses avec des cartes plastiques. Grâce au Big Data, l'entreprise a multiplié par 3 l'efficacité du service de sécurité et la reconnaissance des incidents frauduleux par 10. L'impact économique de l'introduction de ces technologies a dépassé 10 millions de dollars.

Anti fraude* VISA vous permet de calculer automatiquement les transactions frauduleuses, le système ce moment aide à prévenir 2 milliards de dollars de paiements frauduleux chaque année.

Supercalculateur Watson IBM analyse en temps réel les flux de données sur les transactions monétaires. Selon IBM, Watson a augmenté le nombre de transactions frauduleuses détectées de 15 %, réduit les faux positifs de 50 % et augmenté de 60 % le montant d'argent protégé contre les transactions de cette nature.

Procter & Gamble utiliser le Big Data pour concevoir de nouveaux produits et créer des campagnes marketing mondiales. P&G a créé des bureaux Business Spheres dédiés où les informations peuvent être consultées en temps réel.
Ainsi, la direction de l’entreprise a eu l’opportunité de tester instantanément des hypothèses et de mener des expériences. P&G estime que le Big Data aide à prévoir les performances des entreprises.

Détaillant de fournitures de bureau BureauMax Grâce aux technologies Big Data, ils analysent le comportement des clients. L'analyse du Big Data a permis d'augmenter les revenus B2B de 13 % et de réduire les coûts de 400 000 $ par an.

Selon chenille , ses distributeurs perdent entre 9 et 18 milliards de dollars de bénéfices chaque année simplement parce qu'ils ne mettent pas en œuvre les technologies de traitement du Big Data. Le Big Data permettrait aux clients de gérer plus efficacement leur flotte en analysant les informations provenant des capteurs installés sur les machines.

Aujourd’hui, il est déjà possible d’analyser l’état des composants clés, leur degré d’usure et de gérer les coûts de carburant et de maintenance.

Groupe Luxottica est un fabricant de lunettes de sport de marques telles que Ray-Ban, Persol et Oakley. L’entreprise utilise les technologies Big Data pour analyser le comportement des clients potentiels et le marketing SMS « intelligent ». Grâce au Big Data, le groupe Luxottica a identifié plus de 100 millions de ses clients les plus précieux et a augmenté l'efficacité de sa campagne marketing de 10 %.

AVEC en utilisant Yandex Développeurs de jeux Data Factory Monde des chars analyser le comportement des joueurs. Les technologies Big Data ont permis d'analyser le comportement de 100 000 joueurs de World of Tanks à l'aide de plus de 100 paramètres (informations sur les achats, les jeux, l'expérience, etc.). À la suite de l’analyse, une prévision de la sortie des utilisateurs a été obtenue. Ces informations vous permettent de réduire le départ des utilisateurs et de travailler de manière ciblée avec les participants au jeu. Le modèle développé s'est avéré 20 à 30 % plus efficace que les outils d'analyse standard de l'industrie du jeu.

Ministère allemand du Travail utilise le Big Data dans des travaux liés à l'analyse des demandes entrantes d'allocations de chômage. Ainsi, après avoir analysé les informations, il est devenu clair que 20 % des prestations étaient versées à tort. Grâce au Big Data, le ministère du Travail a réduit ses coûts de 10 milliards d'euros.

Hôpital pour enfants de Toronto mis en œuvre Projet Projet Artémis. Ce Système d'Information, qui collecte et analyse les données sur les bébés en temps réel. Le système surveille chaque seconde 1 260 indicateurs de l’état de chaque enfant. Le projet Artemis permet de prédire l'état instable d'un enfant et de commencer la prévention des maladies chez les enfants.

APERÇU DU MARCHÉ MONDIAL DU BIG DATA

État actuel du marché mondial

En 2014, le Big Data, selon Data Collective, est devenu l'un des domaines d'investissement prioritaires dans le secteur du capital-risque. D'après les données portail d'informations Computerra, cela est dû au fait que les développements dans ce domaine ont commencé à apporter des résultats significatifs pour leurs utilisateurs. Au cours de la dernière année, le nombre d'entreprises avec projets mis en œuvre dans le domaine de la gestion du big data a augmenté de 125%, le volume du marché a augmenté de 45% par rapport à 2013.

La majorité des revenus du marché du Big Data, selon Wikibon, en 2014 était constituée de services, leur part était égale à 40% du chiffre d'affaires total (voir graphique ci-dessous) :

Si l'on considère le Big Data pour 2014 par sous-type, le marché ressemblera à ceci :

Selon Wikibon, les applications et analyses représentaient 36 % des revenus du Big Data en 2014 provenant des applications et analyses Big Data, 17 % des équipements informatiques et 15 % des technologies de stockage de données. Le moins de revenus a été généré par les technologies NoSQL, l'équipement d'infrastructure et la mise à disposition d'un réseau d'entreprises ( réseaux d'entreprise).

Les technologies Big Data les plus populaires sont les plateformes in-memory de SAP, HANA, Oracle, etc. Les résultats de l'enquête T-Systems ont montré qu'elles ont été choisies par 30 % des entreprises interrogées. Les deuxièmes plus populaires étaient les plateformes NoSQL (18 % des utilisateurs), les entreprises ont également utilisé les plateformes analytiques de Splunk et Dell, elles ont été choisies par 15 % des entreprises. Selon les résultats de l'enquête, les produits Hadoop/MapReduce se sont révélés les moins utiles pour résoudre les problèmes du Big Data.

Selon une enquête Accenture, dans plus de 50 % des entreprises utilisant les technologies Big Data, les coûts du Big Data varient de 21 % à 30 %.
Selon l'analyse suivante d'Accenture, 76 % des entreprises estiment que ces coûts augmenteront en 2015, et 24 % des entreprises ne modifieront pas leur budget pour les technologies Big Data. Cela suggère que dans ces entreprises, le Big Data est devenu un domaine informatique établi, qui fait désormais partie intégrante du développement de l’entreprise.

Les résultats de l’enquête Economist Intelligence Unit confirment l’effet positif de la mise en œuvre du Big Data. 46 % des entreprises déclarent qu'en utilisant les technologies Big Data, elles ont amélioré le service client de plus de 10 %, 33 % des entreprises ont optimisé les stocks et amélioré la productivité des immobilisations, et 32 % des entreprises ont amélioré les processus de planification.

Big Data dans différents pays du monde

Aujourd’hui, les technologies Big Data sont le plus souvent mises en œuvre dans les entreprises américaines, mais d’autres pays du monde ont déjà commencé à manifester leur intérêt. En 2014, selon IDC, les pays d'Europe, du Moyen-Orient, d'Asie (hors Japon) et d'Afrique représentaient 45 % du marché des logiciels, services et équipements dans le domaine du Big Data.

En outre, selon l'enquête CIO, les entreprises de la région Asie-Pacifique adoptent rapidement de nouvelles solutions dans le domaine de l'analyse Big Data, du stockage sécurisé et des technologies cloud. L'Amérique latine occupe la deuxième place en termes de nombre d'investissements dans le développement des technologies Big Data, devant les pays européens et les États-Unis.
Ensuite, une description et des prévisions pour le développement du marché du Big Data dans plusieurs pays seront présentées.

Chine
Le volume d'informations en Chine est de 909 exaoctets, ce qui équivaut à 10 % du volume total d'informations dans le monde, d'ici 2020, le volume d'informations atteindra 8 060 exaoctets, la part de l'information dans les statistiques mondiales augmentera également, en 5 années, il sera égal à 18%. La croissance potentielle du Big Data en Chine présente l'une des dynamiques les plus dynamiques.

Brésil
Fin 2014, le Brésil avait accumulé 212 exaoctets d'informations, soit 3 % du volume mondial. D'ici 2020, le volume d'informations atteindra 1 600 exaoctets, ce qui représentera 4 % de l'information mondiale.

Inde
Selon EMC, le volume de données accumulées en Inde fin 2014 était de 326 exaoctets, soit 5 % du volume total d'informations. D'ici 2020, le volume d'informations atteindra 2 800 exaoctets, ce qui représentera 6 % de l'information mondiale.

Japon
Le volume de données accumulées au Japon fin 2014 est de 495 exaoctets, soit 8 % du volume total d'informations. D’ici 2020, le volume d’informations atteindra 2 200 exaoctets, mais la part de marché du Japon diminuera et s’élèvera à 5 % du volume total d’informations dans le monde entier.
Ainsi, la taille du marché japonais diminuera de plus de 30 %.

Allemagne
Selon EMC, le volume de données accumulées en Allemagne fin 2014 était de 230 exaoctets, soit 4 % du volume total d'informations dans le monde. D'ici 2020, le volume d'informations atteindra 1 100 exaoctets et s'élèvera à 2 %.
Sur le marché allemand, selon les prévisions du groupe Experton, une part importante du chiffre d'affaires sera générée par le segment des services, dont la part en 2015 sera de 54 %, et en 2019 elle passera à 59 % ; les parts des logiciels et le matériel, au contraire, diminuera.

Au total, la taille du marché passera de 1,345 milliard d'euros en 2015 à 3,198 milliards d'euros en 2019, soit un taux de croissance moyen de 24 %.
Ainsi, sur la base des analyses de CIO et EMC, nous pouvons conclure que les pays en développement du monde deviendront dans les années à venir des marchés pour le développement actif des technologies Big Data.

Principales tendances du marché

Selon IDG Enterprise, en 2015, les dépenses des entreprises en matière de Big Data s'élèveront en moyenne à 7,4 millions de dollars par entreprise, les grandes entreprises ont l'intention de dépenser environ 13,8 millions de dollars et les petites et moyennes entreprises - 1,6 million de dollars.
La plupart des investissements concerneront des domaines tels que l’analyse, la visualisation et la collecte de données.
Sur la base des tendances actuelles et de la demande du marché, les investissements de 2015 serviront à améliorer la qualité des données, à améliorer la planification et les prévisions et à augmenter la vitesse de traitement des données.
Les entreprises du secteur financier, selon l'analyse Insights de Bain Company, réaliseront des investissements importants. Ainsi, en 2015, elles prévoient de dépenser 6,4 milliards de dollars dans les technologies Big Data, le taux de croissance moyen des investissements sera de 22 % jusqu'en 2020. Les sociétés Internet prévoient de dépenser 2,8 milliards de dollars, avec un taux de croissance moyen de 26 % pour les dépenses Big Data.
Lors de la réalisation de l'enquête Economist Intelligence Unit, les domaines prioritaires pour le développement du Big Data en 2014 et au cours des 3 prochaines années ont été identifiés, la répartition des réponses est la suivante :

Selon les prévisions d’IDC, les tendances de développement du marché sont les suivantes :

Au cours des 5 prochaines années, les coûts de solutions cloud dans le domaine des technologies Big Data augmentera 3 fois plus vite que les coûts des solutions locales. Les plateformes hybrides de stockage de données deviendront de plus en plus demandées.
La croissance des applications utilisant des analyses sophistiquées et prédictives, y compris l'apprentissage automatique, va s'accélérer en 2015, le marché de ces applications connaissant une croissance 65 % plus rapide que celui des applications n'utilisant pas d'analyse prédictive.
L'analyse des médias triplera en 2015 et deviendra un moteur clé de croissance sur le marché des technologies Big Data.
La tendance à introduire des solutions d’analyse du flux constant d’informations applicables à l’Internet des objets va s’accélérer.
D’ici 2018, 50 % des utilisateurs interagiront avec des services basés sur l’informatique cognitive.

Facteurs et limiteurs du marché

Les experts d’IDC ont identifié 3 moteurs du marché du Big Data en 2015 :

Selon une enquête Accenture, les problèmes de sécurité des données constituent désormais le principal obstacle à la mise en œuvre des technologies Big Data, avec plus de 51 % des personnes interrogées confirmant qu'elles sont soucieuses d'assurer la protection et la confidentialité des données. 47 % des entreprises ont signalé l'impossibilité de mettre en œuvre le Big Data en raison de budgets limités, 41 % des entreprises ont indiqué le manque de personnel qualifié comme problème.

Wikibon prévoit que le marché du Big Data atteindra 38,4 milliards de dollars en 2015, soit une hausse de 36 % sur un an. Dans les années à venir, les taux de croissance baisseront à 10 % en 2017. Compte tenu de ces prévisions, la taille du marché en 2020 sera égale à 68,7 milliards de dollars américains.

La répartition du marché mondial du Big Data par catégorie d’activité ressemblera à ceci :

Comme le montre le schéma, la majorité du marché sera occupée par des technologies dans le domaine de l'amélioration du service client. Le marketing ciblé sera la deuxième priorité des entreprises jusqu'en 2019 ; en 2020, selon Heavy Reading, il laissera la place à des solutions pour améliorer l'efficacité opérationnelle.
Le segment « amélioration du service client » connaîtra également le taux de croissance le plus élevé, avec une augmentation annuelle de 49 %.
Les prévisions de marché pour les sous-types de Big Data ressembleront à ceci :

La part de marché prédominante, comme le montre le diagramme, est occupée par les services professionnels, le taux de croissance le plus élevé sera celui des applications avec analyse, leur part passera de 12 % actuellement à 18 % en 2020 et le volume de ce segment sera égal à 12,3 milliards de dollars américains. La part des équipements informatiques, au contraire, diminuera de 20 % à 14 % et s'élèvera à environ 9,3 milliards de dollars américains en 2020, le marché des technologies cloud augmentera progressivement et en 2020 atteindra 6,3 milliards de dollars américains, la part de marché des solutions de stockage de données, au contraire, diminuera de 15 % en 2014 à 13 % en 2020 et en termes monétaires sera égale à 8,9 milliards de dollars américains.
Selon les prévisions Insights Analysis de Bain & Company, la répartition du marché du Big Data par secteur en 2020 sera la suivante :

Le secteur financier dépensera 6,4 milliards de dollars dans le Big Data, avec un taux de croissance moyen de 22 % par an ;
Les sociétés Internet dépenseront 2,8 milliards de dollars et le taux de croissance moyen des coûts sera de 26 % au cours des 5 prochaines années ;
Les coûts du secteur public seront proportionnels à ceux des sociétés Internet, mais le taux de croissance sera inférieur – 22 % ;
Le secteur des télécommunications connaîtra une croissance de 40 % pour atteindre 1,2 milliard de dollars américains en 2020 ;

Les sociétés énergétiques investiront une somme relativement faible dans ces technologies – 800 millions de dollars –, mais le taux de croissance sera l’un des plus élevés – 54 % par an.
Ainsi, la plus grande part du marché du Big Data en 2020 sera occupée par les entreprises du secteur financier, et le secteur à la croissance la plus rapide sera celui de l'énergie.
Conformément aux prévisions des analystes, la taille totale du marché augmentera dans les années à venir. La croissance du marché sera obtenue grâce à la mise en œuvre des technologies Big Data dans les pays en développement du monde, comme le montre le graphique ci-dessous.

La taille projetée du marché dépendra de la manière dont les pays en développement percevront les technologies Big Data et de leur popularité aussi grande que dans les pays développés. En 2014, les pays en développement représentaient 40 % du volume d'informations accumulées. Selon les prévisions d'EMC, la structure actuelle du marché, avec une prédominance des pays développés, changera en 2017. Selon les analyses d'EMC, en 2020, la part des pays en développement dépassera 60 %.
Selon Cisco et EMC, les pays en développement du monde entier travailleront très activement avec le Big Data, en grande partie grâce à la disponibilité de la technologie et à l'accumulation d'une quantité suffisante d'informations au niveau du Big Data. La carte du monde présentée sur la page suivante montrera les prévisions d'augmentation du volume et du taux de croissance du Big Data par région.

ANALYSE DU MARCHÉ RUSSE

État actuel du marché russe

Selon les résultats d'une étude de CNews Analytics et Oracle, le niveau de maturité du marché russe du Big Data a augmenté au cours de l'année écoulée. Les répondants représentant 108 grandes entreprises de divers secteurs ont démontré davantage haut degré connaissance de ces technologies, ainsi qu'une compréhension établie du potentiel de ces solutions pour leur entreprise.
En 2014, selon IDC, la Russie avait accumulé 155 exaoctets d'informations, ce qui ne représente que 1,8 % des données mondiales. Le volume d'informations d'ici 2020 atteindra 980 exaoctets et occupera 2,2 %. Ainsi, le taux de croissance moyen du volume d'informations sera de 36% par an.
IDC estime le marché russe à 340 millions de dollars, dont 100 millions de dollars de solutions SAP et environ 240 millions de dollars de solutions similaires d'Oracle, IBM, SAS, Microsoft, etc.
Le taux de croissance du marché russe du Big Data n’est pas inférieur à 50 % par an.
Il est prévu que la dynamique positive se poursuive dans ce secteur du marché informatique russe, même dans des conditions de stagnation économique générale. Cela est dû au fait que les entreprises continuent d'exiger des solutions qui améliorent l'efficacité opérationnelle, optimisent les coûts, améliorent la précision des prévisions et minimisent les risques possibles pour l'entreprise.
Les principaux prestataires de services dans le domaine du Big Data sur le marché russe sont :

Oracle
Microsoft
Cloudera
Hortons
Teradata.

Aperçu du marché par secteur et expérience dans l'utilisation du Big Data dans les entreprises

Selon CNews, en Russie, seulement 10 % des entreprises ont commencé à utiliser les technologies Big Data, alors que dans le monde, la part de ces entreprises est d'environ 30 %. La préparation aux projets Big Data augmente dans de nombreux secteurs de l'économie russe, selon un rapport de CNews Analytics et Oracle. Plus d'un tiers des entreprises interrogées (37 %) ont commencé à travailler avec les technologies Big Data, dont 20 % utilisent déjà de telles solutions et 17 % commencent à les expérimenter. Le deuxième tiers des répondants actuellement envisagent cette possibilité.

En Russie, les technologies Big Data sont particulièrement populaires dans les secteurs bancaire et des télécommunications, mais elles sont également demandées dans l'industrie minière, l'énergie, la vente au détail, les entreprises de logistique et le secteur public.
Ensuite, des exemples d'utilisation du Big Data dans les réalités russes seront examinés.

Télécom
Les opérateurs de télécommunications disposent de bases de données parmi les plus volumineuses, ce qui leur permet de procéder à l'analyse la plus approfondie des informations accumulées.
L’un des domaines d’application de la technologie Big Data est la gestion de la fidélisation des abonnés.
L’objectif principal de l’analyse des données est de fidéliser les clients existants et d’en attirer de nouveaux. Pour ce faire, les entreprises segmentent les clients, analysent leur trafic et déterminent l'affiliation sociale de l'abonné. En plus d'utiliser les informations à des fins de marketing, les technologies de télécommunications sont utilisées pour empêcher les transactions financières frauduleuses.
Un des exemples frappants de cette industrie est VimpelCom. L'entreprise utilise le Big Data pour améliorer la qualité de service au niveau de chaque abonné, compiler des rapports, analyser les données pour le développement du réseau, lutter contre le spam et personnaliser les services.

Banques
Une proportion importante des utilisateurs du Big Data sont des spécialistes du secteur financier. L'une des expériences réussies a été réalisée à la Banque de l'Oural pour la reconstruction et le développement, où la base d'informations a commencé à être utilisée pour analyser les clients, la banque a commencé à proposer des offres de prêts spécialisées, des dépôts et d'autres services. En un an après l'utilisation de ces technologies, le portefeuille de prêts aux particuliers de l'entreprise a augmenté de 55 %.
Alfa-Bank analyse les informations des réseaux sociaux, traite les demandes de prêt et analyse le comportement des utilisateurs du site Internet de l’entreprise.
Sberbank a également commencé à traiter une quantité massive de données pour segmenter les clients, prévenir les activités frauduleuses, effectuer des ventes croisées et gérer les risques. À l'avenir, il est prévu d'améliorer le service et d'analyser les actions des clients en temps réel.
La Banque panrusse de développement régional analyse le comportement des titulaires de cartes en plastique. Cela permet d'identifier les transactions atypiques pour un client particulier, augmentant ainsi la probabilité de détecter un vol de fonds sur des cartes plastiques.

Vente au détail
En Russie, les technologies Big Data ont été mises en œuvre par des sociétés commerciales en ligne et hors ligne. Aujourd’hui, selon CNews Analytics, le Big Data est utilisé par 20 % des commerçants. 75% de spécialistes vente au détail considèrent le Big Data comme nécessaire au développement d’une stratégie de promotion d’entreprise compétitive. Selon les statistiques Hadoop, après la mise en œuvre de la technologie Big Data, les bénéfices des organisations commerciales augmentent de 7 à 10 %.
Les spécialistes de M.Video parlent d'une planification logistique améliorée après la mise en œuvre de SAP HANA ; en outre, grâce à sa mise en œuvre, la préparation des rapports annuels a été réduite de 10 jours à 3 jours, la vitesse de chargement quotidien des données a été réduite de 3 heures à 30 minutes.
Wikimart utilise ces technologies pour générer des recommandations pour les visiteurs du site.
L'un des premiers magasins hors ligne à introduire l'analyse Big Data en Russie a été Lenta. Avec l'aide du Big Data, le commerce de détail a commencé à étudier les informations sur les clients à partir des reçus de caisse. Le détaillant collecte des informations pour créer des modèles comportementaux, ce qui permet de prendre des décisions plus éclairées au niveau opérationnel et commercial.

Industrie du pétrole et du gaz
Dans cette industrie, la portée du Big Data est assez large. Les technologies Big Data peuvent être utilisées dans l’extraction de minéraux du sous-sol. Avec leur aide, vous pouvez analyser le processus d'extraction lui-même et les moyens les plus efficaces de l'extraire, surveiller le processus de forage, analyser la qualité des matières premières, ainsi que la transformation et la commercialisation du produit final. En Russie, Transneft et Rosneft ont déjà commencé à utiliser ces technologies.

Organismes gouvernementaux
Dans des pays comme l’Allemagne, l’Australie, l’Espagne, le Japon, le Brésil et le Pakistan, les technologies Big Data sont utilisées pour résoudre des problèmes nationaux. Ces technologies aident les autorités gouvernementales à fournir plus efficacement des services à la population et à fournir un soutien social ciblé.
En Russie, ces technologies ont commencé à être maîtrisées par des organismes gouvernementaux tels que la Caisse de pension, le Service fédéral des impôts et la Caisse d'assurance médicale obligatoire. Le potentiel de mise en œuvre de projets utilisant le Big Data est grand ; ces technologies pourraient contribuer à améliorer la qualité des services et, par conséquent, le niveau de vie de la population.

Logistique et transport
Le Big Data peut également être utilisé par les entreprises de transport. Grâce aux technologies Big Data, vous pouvez suivre votre flotte automobile, prendre en compte les coûts de carburant et suivre les demandes des clients.
Les chemins de fer russes ont mis en œuvre les technologies Big Data en collaboration avec SAP. Ces technologies ont permis de réduire le temps de préparation des rapports de 43,5 fois (de 14,5 heures à 20 minutes) et d'augmenter la précision de la répartition des coûts de 40 fois. Le Big Data a également été introduit dans les processus de planification et de régulation tarifaire. Au total, les entreprises utilisent plus de 300 systèmes basés sur des solutions SAP, 4 centres de données sont impliqués et le nombre d'utilisateurs est de 220 000.

Principaux moteurs et limitateurs du marché

Les moteurs du développement des technologies Big Data sur le marché russe sont :

Intérêt accru de la part des utilisateurs pour les capacités du Big Data comme moyen d'augmenter la compétitivité d'une entreprise ;
Développement de méthodes de traitement de fichiers multimédias au niveau mondial ;
Transfert de serveurs traitant des informations personnelles vers le territoire de la Russie, conformément à la loi adoptée sur le stockage et le traitement des données personnelles ;
Mise en œuvre du plan industriel de substitution des importations de logiciels. Ce plan comprend un soutien gouvernemental aux fabricants de logiciels nationaux, ainsi que l'octroi de préférences pour les produits informatiques nationaux lors de leurs achats aux frais de l'État.
Dans la nouvelle situation économique, où le taux de change du dollar a presque doublé, on aura tendance à recourir de plus en plus aux services des fournisseurs de services cloud russes plutôt qu'étrangers.
Création de parcs technologiques qui contribuent au développement du marché des technologies de l'information, dont le marché du Big Data ;
Programme d'État pour la mise en œuvre de systèmes de grille basés sur les technologies Big Data.

Les principaux obstacles au développement du Big Data sur le marché russe sont :

Assurer la sécurité et la confidentialité des données ;
Manque de personnel qualifié ;
Ressources d'information accumulées insuffisantes au niveau du Big Data dans la plupart des entreprises russes ;
Difficultés à introduire de nouvelles technologies dans les systèmes d'information établis des entreprises ;
Le coût élevé des technologies Big Data, qui conduit à un nombre limité d'entreprises ayant la possibilité de mettre en œuvre ces technologies ;
L'incertitude politique et économique, qui a conduit à la fuite des capitaux et au gel des projets d'investissement en Russie ;
La hausse des prix des produits importés et la poussée de l'inflation, selon IDC, ralentissent le développement de l'ensemble du marché informatique.

Prévisions du marché russe

À l’heure actuelle, le marché russe du Big Data n’est pas aussi populaire que dans les pays développés. La plupart des entreprises russes s'y intéressent, mais n'osent pas profiter de leurs opportunités.
Les exemples de grandes entreprises qui ont déjà bénéficié de l’utilisation des technologies Big Data prennent de plus en plus conscience des capacités de ces technologies.
Les analystes ont également des prévisions plutôt optimistes concernant le marché russe. IDC estime que la part de marché russe augmentera au cours des cinq prochaines années, contrairement aux marchés allemand et japonais.
D’ici 2020, le volume du Big Data en Russie passera de 1,8 % actuellement à 2,2 % du volume mondial de données. La quantité d’informations va croître, selon EMC, de 155 exaoctets actuellement à 980 exaoctets en 2020.
À l’heure actuelle, la Russie continue d’accumuler un volume d’informations comparable au Big Data.
Selon une enquête de CNews Analytics, 44 % des entreprises interrogées travaillent avec des données ne dépassant pas 100 téraoctets* et seulement 13 % travaillent avec des volumes supérieurs à 500 téraoctets.

Néanmoins, le marché russe, suivant les tendances mondiales, va croître. En 2014, IDC estime la taille du marché à 340 millions de dollars.
Le taux de croissance du marché au cours des années précédentes était de 50 % par an ; s'il reste au même niveau, alors en 2018, le volume du marché atteindra 1,7 milliard de dollars. La part du marché russe sur le marché mondial sera d'environ 3 %, contre 1,2 % actuellement.

Les industries les plus réceptives à l’utilisation du Big Data en Russie comprennent :

Le commerce de détail et les banques, pour eux, l'analyse de la clientèle et l'évaluation de l'effet des campagnes marketing sont avant tout importantes ;
Télécom – segmentation de la clientèle et monétisation du trafic ;
Secteur public – reporting, analyse des candidatures du public, etc. ;
Compagnies pétrolières – suivi des travaux et planification de la production et des ventes ;
Entreprises énergétiques – création de systèmes d’énergie électrique intelligents, suivi opérationnel et prévision.

Dans les pays développés, le Big Data s'est répandu dans les domaines de la santé, des assurances, de la métallurgie, des sociétés Internet et des entreprises manufacturières ; très probablement, dans un avenir proche, les entreprises russes de ces domaines apprécieront également l'effet de l'introduction du Big Data et s'adapteront. ces technologies dans leurs industries.
En Russie, comme dans le monde, on observera dans un avenir proche une tendance à la visualisation des données, à l'analyse des fichiers multimédias et au développement de l'Internet des objets.
Malgré la stagnation générale de l'économie, dans les années à venir, les analystes prédisent une nouvelle croissance du marché du Big Data, principalement due au fait que l'utilisation des technologies Big Data donne à ses utilisateurs un avantage concurrentiel en termes d'augmentation de l'efficacité opérationnelle de l'entreprise. activité, attirer un flux supplémentaire de clients, minimiser les risques et mettre en œuvre des technologies de prévision des données.
Ainsi, nous pouvons conclure que le segment du Big Data en Russie est au stade de la formation, mais que la demande pour ces technologies augmente chaque année.

Principaux résultats de l'analyse de marché

Marché mondial

Fin 2014, le marché du Big Data se caractérise par les paramètres suivants :

le volume du marché s'est élevé à 28,5 milliards de dollars américains, soit une augmentation de 45 % par rapport à l'année précédente ;
la majorité des revenus du marché du Big Data provenait des services, leur part était égale à 40 % du chiffre d'affaires total ;
36 % des revenus provenaient des applications et analyses Big Data, 17 % des équipements informatiques et 15 % des technologies de stockage de données ;
Les plates-formes en mémoire d'entreprises telles que SAP, HANA et Oracle sont les plus populaires pour résoudre les problèmes du Big Data.
le nombre d'entreprises ayant mis en œuvre des projets dans le domaine de la gestion du Big Data a augmenté de 125 % ;

Les prévisions du marché pour les prochaines années sont les suivantes :

en 2015, le volume du marché atteindra 38,4 milliards de dollars, en 2020 – 68,7 milliards de dollars ;
le taux de croissance moyen sera de 16 % par an ;
les coûts moyens des entreprises pour les technologies Big Data seront de 13,8 millions de dollars pour les grandes entreprises et de 1,6 millions de dollars pour les petites et moyennes entreprises ;
les technologies seront plus répandues dans les domaines du service client et du marketing ciblé ;
En 2017, la structure du marché mondial évoluera vers une prédominance d’entreprises utilisatrices des pays en développement.

marché russe

Le marché russe du Big Data est au stade de la formation, les résultats de 2014 sont les suivants :

le volume du marché a atteint 340 millions de dollars ;
le taux de croissance moyen du marché au cours des années précédentes était de 50 % par an ;
le volume total d'informations accumulées était de 155 exaoctets ;
10 % des entreprises russes ont commencé à utiliser les technologies Big Data ;
Les technologies Big Data étaient plus populaires dans le secteur bancaire, les télécommunications, les sociétés Internet et le commerce de détail.

Les prévisions du marché russe pour les années à venir sont les suivantes :

le volume du marché russe atteindra 500 millions de dollars en 2015 et 1,7 milliard de dollars en 2018 ;
la part du marché russe sur le marché mondial sera d'environ 3 % en 2018 ;
la quantité de données accumulées en 2020 sera de 980 exaoctets ;
le volume de données atteindra 2,2 % du volume mondial de données en 2020 ;
Les technologies de visualisation de données, d’analyse de fichiers multimédias et d’Internet des objets deviendront les plus populaires.

Sur la base des résultats de l'analyse, nous pouvons conclure que le marché du Big Data en est encore aux premiers stades de développement et que, dans un avenir proche, nous verrons sa croissance et l'expansion des capacités de ces technologies.

Merci d'avoir pris le temps de lire ce volumineux ouvrage, abonnez-vous à notre blog - nous vous promettons de nombreuses nouvelles publications intéressantes !

Seuls les paresseux n'en parlent pas Big Data, mais il comprend à peine ce que c'est et comment cela fonctionne. Commençons par la chose la plus simple : la terminologie. En russe, le Big Data désigne divers outils, approches et méthodes permettant de traiter des données structurées et non structurées afin de les utiliser pour des tâches et des objectifs spécifiques.

Les données non structurées sont des informations qui n'ont pas de structure prédéterminée ou qui ne sont pas organisées dans un ordre particulier.

Le terme « big data » a été introduit par Clifford Lynch, rédacteur en chef du magazine Nature, en 2008 dans un numéro spécial consacré à la croissance explosive des volumes d’informations dans le monde. Même si, bien entendu, le Big Data lui-même existait auparavant. Selon les experts, la catégorie Big data regroupe la plupart des flux de données supérieurs à 100 Go par jour.

Big data - en termes simples

Dans le monde moderne, le Big Data est un phénomène socio-économique associé à l'émergence de nouvelles capacités technologiques permettant d'analyser une énorme quantité de données.

Technologie des mégadonnées

D'énormes volumes de données sont traités afin qu'une personne puisse obtenir des résultats spécifiques et nécessaires à leur utilisation plus efficace.

Big data : applications et opportunités

Il est impossible de traiter des volumes d’informations numériques hétérogènes et arrivant rapidement avec des outils traditionnels. L'analyse des données elle-même vous permet de voir des modèles certains et imperceptibles qu'une personne ne peut pas voir. Cela nous permet d'optimiser tous les domaines de notre vie - de l'administration publique à la production et aux télécommunications.

Par exemple, il y a quelques années, certaines entreprises ont protégé leurs clients contre la fraude, et prendre soin de l’argent du client signifie prendre soin de son propre argent.

Susan Etliger : Qu’en est-il du Big Data ?

Solutions basées sur le Big data : Sberbank, Beeline et autres sociétés

Beeline dispose d'une énorme quantité de données sur les abonnés, qu'ils utilisent non seulement pour travailler avec eux, mais également pour créer des produits analytiques, tels que des conseils externes ou des analyses IPTV. Beeline a segmenté la base de données et protégé les clients contre la fraude financière et les virus, en utilisant HDFS et Apache Spark pour le stockage, et Rapidminer et Python pour le traitement des données.

Le Big Data dans le monde

D’ici 2020, selon les prévisions, l’humanité générera 40 à 44 zettaoctets d’informations. Et d’ici 2025, ce chiffre sera multiplié par 10, selon le rapport The Data Age 2025, préparé par les analystes d’IDC. Le rapport note que la plupart des données seront générées par les entreprises elles-mêmes, plutôt que par les consommateurs ordinaires.

Les analystes de recherche estiment que les données deviendront un atout vital et la sécurité un fondement essentiel de la vie. Les auteurs de l'ouvrage sont également convaincus que la technologie va changer le paysage économique, et utilisateur régulier communiquera avec les appareils connectés environ 4800 fois par jour.

Le marché du Big Data en Russie

Le Big Data provient généralement de trois sources :

Internet (réseaux sociaux, forums, blogs, médias et autres sites) ;
Archives de documents d'entreprise ;
Lectures de capteurs, instruments et autres appareils.

Le Big Data dans les banques

En plus du système décrit ci-dessus, la stratégie de la Sberbank pour 2014-2018 comprend : parle de l'importance de l'analyse des super données pour un service client de qualité, la gestion des risques et l'optimisation des coûts. Désormais, la banque utilise le Big data pour gérer les risques, lutter contre la fraude, segmenter et évaluer la solvabilité des clients, gérer le personnel, prévoir les files d'attente dans les agences, calculer les primes des employés et d'autres tâches.

VTB24 utilise le big data pour segmenter et gérer les sorties clients, générer des reporting financiers et analyser les avis sur les réseaux sociaux et les forums. Pour ce faire, il utilise les solutions de Teradata, SAS Visual Analytics et SAS Marketing Optimizer.

Big Data– il ne s’agit pas seulement des données elles-mêmes, mais aussi des technologies permettant de les traiter et de les utiliser, des méthodes permettant de rechercher les informations nécessaires dans de grands tableaux. Le problème du Big Data reste ouvert et vital pour tout système qui accumule une grande variété d’informations depuis des décennies.

Ce terme est associé à l'expression "Volume, vélocité, variété"– les principes sur lesquels repose le travail avec le big data. C'est directement quantité d'informations, rapidité de son traitement Et variété d'informations, stocké dans un tableau. Dernièrement, vers trois heures principes de base j'ai commencé à en ajouter un de plus - Valeur, ce qui signifie valeur des informations. Autrement dit, il doit être utile et nécessaire en termes théoriques ou pratiques, ce qui justifierait les coûts de son stockage et de son traitement.

Les réseaux sociaux sont un exemple de source typique de Big Data : chaque profil ou page publique représente une petite goutte dans un océan d'informations non structurées. De plus, quelle que soit la quantité d'informations stockées dans un profil particulier, l'interaction avec chaque utilisateur doit être aussi rapide que possible.

Les mégadonnées s’accumulent continuellement dans presque tous les domaines de la vie humaine. Cela inclut toute industrie qui implique une interaction humaine ou informatique. Il s'agit notamment des médias sociaux, de la médecine, des services bancaires ainsi que des systèmes d'appareils qui reçoivent de nombreux résultats de calculs quotidiens. Par exemple, les observations astronomiques, les informations météorologiques et les informations provenant d'appareils de détection de la Terre.

Les informations provenant de toutes sortes de systèmes de suivi en temps réel sont également transmises aux serveurs d'une entreprise particulière. Diffusion de télévision et de radio, bases de données d'appels des opérateurs de téléphonie mobile - l'interaction de chaque individu avec eux est minime, mais dans l'ensemble, toutes ces informations deviennent des données volumineuses.

Les technologies du Big Data font désormais partie intégrante de la recherche, du développement et du commerce. En outre, ils commencent à s'emparer du domaine de l'administration publique et partout il est nécessaire d'introduire des systèmes de plus en plus efficaces pour stocker et manipuler l'information.

Le terme « big data » est apparu pour la première fois dans la presse en 2008, lorsque Clifford Lynch, rédacteur en chef de Nature, a publié un article sur le développement de l'avenir de la science utilisant des technologies permettant de travailler avec de grandes quantités de données. Jusqu'en 2009, ce terme n'était considéré que du point de vue de l'analyse scientifique, mais après la publication de plusieurs autres articles, la presse a commencé à utiliser largement le concept de Big Data - et continue de l'utiliser aujourd'hui.

En 2010, les premières tentatives visant à résoudre le problème croissant du Big Data ont commencé à apparaître. Des produits logiciels ont été lancés, dont l'action visait à minimiser les risques liés à l'utilisation d'énormes quantités d'informations.

En 2011, de grandes entreprises telles que Microsoft, Oracle, EMC et IBM se sont intéressées au Big Data - elles sont devenues les premières à utiliser les développements du Big Data dans leurs stratégies de développement, et avec beaucoup de succès.

Les universités ont commencé à étudier le Big Data en tant que matière distincte dès 2013 - désormais, non seulement la science des données, mais aussi l'ingénierie, associée aux matières informatiques, traitent des problèmes dans ce domaine.

Les principales méthodes d’analyse et de traitement des données sont les suivantes :

Méthodes de classe ou analyse approfondie (Data Mining).

Ces méthodes sont assez nombreuses, mais elles ont un point commun : les outils mathématiques utilisés en conjonction avec les réalisations du domaine des technologies de l'information.

Le crowdsourcing.

Cette technique permet d'obtenir des données simultanément à partir de plusieurs sources, et le nombre de ces dernières est pratiquement illimité.

Tests A/B.

À partir de l'ensemble du volume de données, un ensemble d'éléments de contrôle est sélectionné, qui est alternativement comparé à d'autres ensembles similaires dans lesquels l'un des éléments a été modifié. La réalisation de tels tests permet de déterminer quelles fluctuations de paramètres ont le plus grand impact sur la population témoin. Grâce au volume du Big Data, il est possible de réaliser un très grand nombre d’itérations, chacune d’elles se rapprochant du résultat le plus fiable.

Analyses prédictives.

Les spécialistes dans ce domaine tentent de prédire et de planifier à l'avance le comportement de l'objet contrôlé afin de prendre la décision la plus rentable dans cette situation.

Apprentissage automatique (intelligence artificielle).

Il est basé sur l'analyse empirique de l'information et la construction ultérieure d'algorithmes d'auto-apprentissage pour les systèmes.

Analyse de réseau.

La méthode la plus courante pour étudier les réseaux sociaux consiste à analyser, après avoir obtenu des données statistiques, les nœuds créés dans la grille, c'est-à-dire les interactions entre les utilisateurs individuels et leurs communautés.

En 2017, lorsque le Big Data a cessé d’être quelque chose de nouveau et d’inconnu, son importance non seulement n’a pas diminué, mais a même augmenté. Les experts parient désormais que l’analyse du Big Data deviendra accessible non seulement aux organisations géantes, mais également aux petites et moyennes entreprises. Cette approche devrait être mise en œuvre à l'aide des composants suivants :

Stockage en ligne.

Le stockage et le traitement des données deviennent plus rapides et plus économiques – par rapport aux coûts de maintenance de votre propre centre de données et extension possible Pour le personnel, la location d’un cloud semble être une alternative bien moins coûteuse.

Utiliser des données sombres.

Les soi-disant « données sombres » sont toutes les informations non numérisées sur l'entreprise, qui ne jouent pas un rôle clé dans leur utilisation directe, mais peuvent servir de raison pour passer à un nouveau format de stockage des informations.

Intelligence artificielle et apprentissage profond.

La technologie d’apprentissage automatique, qui imite la structure et le fonctionnement du cerveau humain, est parfaitement adaptée au traitement de grandes quantités d’informations en constante évolution. Dans ce cas, la machine fera tout ce qu'une personne ferait, mais le risque d'erreur est considérablement réduit.

Chaîne de blocs

Cette technologie permet d’accélérer et de simplifier de nombreuses transactions en ligne, y compris internationales. Un autre avantage de la Blockchain est qu’elle réduit les coûts de transaction.

Libre-service et prix réduits.

En 2017, il est prévu d'introduire des « plateformes en libre-service » - ce sont des plateformes gratuites où les représentants des petites et moyennes entreprises peuvent évaluer de manière indépendante les données qu'ils stockent et les systématiser.

Toutes les stratégies marketing reposent d’une manière ou d’une autre sur la manipulation d’informations et l’analyse de données existantes. C'est pourquoi l'utilisation du Big Data peut prédire et permettre d'ajuster le développement futur de l'entreprise.

Par exemple, une enchère RTB créée sur la base du Big Data vous permet d'utiliser la publicité plus efficacement - un certain produit ne sera présenté qu'au groupe d'utilisateurs intéressés à l'acheter.

Quels sont les avantages de l’utilisation des technologies Big Data dans le marketing et les affaires ?

Avec leur aide, vous pouvez créer beaucoup plus rapidement de nouveaux projets, susceptibles de devenir très demandés par les acheteurs.
Ils permettent de corréler les exigences du client avec le service existant ou conçu et ainsi de les ajuster.
Les méthodes Big Data permettent d'évaluer le degré de satisfaction actuel de tous les utilisateurs et de chaque utilisateur individuel.
La fidélisation accrue des clients est obtenue grâce aux méthodes de traitement du Big Data.
Attirance public cible sur Internet devient plus facile grâce à la possibilité de contrôler d’énormes quantités de données.

Par exemple, l'un des services les plus populaires pour prédire la popularité probable d'un produit est Google.trends. Il est largement utilisé par les spécialistes du marketing et les analystes, leur permettant d'obtenir des statistiques sur l'utilisation passée d'un produit donné et des prévisions pour la saison suivante. Cela permet aux chefs d'entreprise de répartir plus efficacement le budget publicitaire et de déterminer dans quel domaine il est préférable d'investir de l'argent.

Exemples d'utilisation du Big Data

L’introduction active des technologies Big Data sur le marché et dans la vie moderne a commencé juste après que des entreprises de renommée mondiale ayant des clients dans presque toutes les régions du monde ont commencé à les utiliser.

Il s’agit de géants sociaux comme Facebook et Google, IBM, ainsi que d’institutions financières comme Master Card, VISA et Bank of America.

Par exemple, IBM applique des techniques de Big Data aux transactions monétaires en cours. Avec leur aide, 15 % de transactions frauduleuses supplémentaires ont été identifiées, ce qui a permis d'augmenter le montant des fonds protégés de 60 %. Les problèmes de fausses alarmes du système ont également été résolus : leur nombre a été réduit de plus de moitié.

La société VISA a également utilisé le Big Data pour suivre les tentatives frauduleuses d’effectuer une opération particulière. Grâce à cela, ils économisent chaque année plus de 2 milliards de dollars grâce aux fuites.

Le ministère allemand du Travail a réussi à réduire ses coûts de 10 milliards d’euros en introduisant un système Big Data dans son travail sur l’octroi des allocations de chômage. Dans le même temps, il a été révélé qu’un cinquième des citoyens bénéficient de ces prestations sans raison.

Le Big Data n’a pas non plus épargné l’industrie du jeu vidéo. Ainsi, les développeurs de World of Tanks ont mené une étude des informations sur tous les joueurs et comparé les indicateurs disponibles de leur activité. Cela a permis de prédire l'éventuelle sortie future des joueurs - sur la base des hypothèses formulées, les représentants de l'organisation ont pu interagir plus efficacement avec les utilisateurs.

Les organisations notables utilisant le Big Data incluent également HSBC, Nasdaq, Coca-Cola, Starbucks et AT&T.

Le plus gros problème du Big Data est le coût de son traitement. Cela peut inclure à la fois des équipements coûteux et des coûts salariaux pour des spécialistes qualifiés capables de traiter d'énormes quantités d'informations. Évidemment, l'équipement devra être mis à jour régulièrement afin qu'il ne perde pas un minimum de fonctionnalités à mesure que le volume de données augmente.

Le deuxième problème est encore une fois lié à la grande quantité d’informations à traiter. Si, par exemple, une étude produit non pas 2-3, mais un grand nombre de résultats, il est très difficile de rester objectif et de sélectionner dans le flux général de données uniquement ceux qui auront un réel impact sur l'état d'un phénomène.

Problème de confidentialité du Big Data. Alors que la plupart des services clients s’orientent vers l’utilisation des données en ligne, il est très facile de devenir la prochaine cible des cybercriminels. Même le simple fait de stocker des informations personnelles sans effectuer de transactions en ligne peut avoir des conséquences indésirables pour les clients. stockage en ligne conséquences.

Le problème de la perte d'informations. Les mesures de précaution nécessitent de ne pas se limiter à une simple sauvegarde unique des données, mais de réaliser au moins 2 à 3 copies de sauvegarde du stockage. Cependant, à mesure que le volume augmente, les difficultés de redondance augmentent - et les informaticiens tentent de trouver la solution optimale à ce problème.

Marché des technologies Big Data en Russie et dans le monde

En 2014, 40 % du volume du marché du Big Data était constitué de services. Les revenus issus de l'utilisation du Big Data dans les équipements informatiques sont légèrement inférieurs (38 %) à cet indicateur. Les 22 % restants proviennent des logiciels.

Les produits les plus utiles du segment mondial pour résoudre les problèmes du Big Data, selon les statistiques, sont les plateformes analytiques In-memory et NoSQL. 15 et 12 pour cent du marché, respectivement, sont occupés par les logiciels d'analyse de fichiers journaux et les plates-formes en colonnes. Mais Hadoop/MapReduce, dans la pratique, ne résout pas très efficacement les problèmes du Big Data.

Résultats de la mise en œuvre des technologies Big Data :

augmenter la qualité du service client ;
optimisation de l'intégration de la chaîne d'approvisionnement ;
optimisation de la planification organisationnelle;
accélération de l'interaction avec les clients ;
augmenter l'efficacité du traitement des demandes des clients ;
réduction des coûts de service;
optimisation du traitement des demandes des clients.

Meilleurs livres sur le Big Data

Adapté à l'étude initiale des technologies de traitement du Big Data - il vous présente facilement et clairement. Montre clairement comment l'abondance d'informations a influencé la vie quotidienne et toutes ses sphères : science, affaires, médecine, etc. Contient de nombreuses illustrations, elle est donc perçue sans trop d'effort.

"Introduction à l'exploration de données" par Pang-Ning Tan, Michael Steinbach et Vipin Kumar

Un livre sur le Big Data est également utile pour les débutants, qui explique comment travailler avec le Big Data selon le principe « du simple au complexe ». Couvre de nombreux points importants au stade initial : préparation au traitement, visualisation, OLAP, ainsi que certaines méthodes d'analyse et de classification des données.

Un guide pratique pour utiliser et travailler avec le Big Data en utilisant le langage Programmation Python. Convient aussi bien aux étudiants en ingénierie qu'aux professionnels souhaitant approfondir leurs connaissances.

"Hadoop pour les nuls", Dirk Derus, Paul S. Zikopoulos, Roman B. Melnik

Hadoop est un projet créé spécifiquement pour travailler avec des programmes distribués qui organisent l'exécution d'actions sur des milliers de nœuds simultanément. Apprendre à le connaître vous aidera à comprendre plus en détail application pratique Big Data.

Le Big Data, ou big data, est un concept utilisé dans informatique et le domaine du marketing. Le terme « big data » est utilisé pour définir l’analyse et la gestion de gros volumes. Ainsi, le big data est une information qui, en raison de ses volumes importants, ne peut être traitée par les méthodes traditionnelles.

Vie moderne impossible à imaginer sans le numérique. Les entrepôts de données mondiaux sont constamment reconstitués et il est donc également nécessaire de modifier continuellement les conditions de stockage de l'information et de rechercher de nouvelles façons d'augmenter le volume de ses supports. D'après l'opinion des experts, l'augmentation Big Data et les taux de croissance croissants sont des réalités actuelles. Comme déjà mentionné, les informations apparaissent en permanence. D'énormes quantités sont générées par les sites d'information, diverses prestations partage de fichiers et réseaux sociaux, mais cela ne représente qu'une petite partie du volume total produit.

IDC Digital Universe, après avoir mené une étude, a déclaré que d'ici 5 ans, le volume de données sur la Terre entière atteindra quarante zettaoctets. Cela signifie que pour chaque personne sur la planète, il y aura 5 200 Go d'informations.

Meilleur article du mois

Le premier semestre 2018 se termine, il est temps de le résumer sous-totaux. Même si les performances commerciales de l'entreprise ont augmenté par rapport à la période précédente, assurez-vous qu'il n'y a pas de difficultés cachées dans le travail de l'entreprise qui pourraient causer des problèmes.

Pour diagnostiquer les problèmes, remplissez les listes de contrôle de notre article et découvrez à quel côté de l'entreprise prêter attention.

Il est de notoriété publique que les individus ne sont pas les principaux producteurs d’informations. La principale source d’informations qui apporte des données sont les robots qui interagissent en permanence. Il s'agit notamment du système d'exploitation des ordinateurs, tablettes et téléphones mobiles, systèmes intelligents, outils de surveillance, systèmes de surveillance, etc. Ensemble, ils entraînent un taux d'augmentation rapide de la quantité de données, ce qui signifie que le besoin de créer à la fois des serveurs réels et virtuels augmente. Ensemble, cela conduit à l’expansion et à la mise en œuvre de nouveaux centres de données.

Le plus souvent, le big data est défini comme une information qui dépasse Disque dur PC, et ne peut pas non plus être traité par les méthodes traditionnelles utilisées pour traiter et analyser des informations avec un plus petit volume.

Pour résumer, la technologie de traitement du Big Data se résume finalement à 3 domaines principaux, qui, à leur tour, résolvent 3 types de problèmes :

Stocker et gérer d'énormes volumes de données (jusqu'à des centaines de téraoctets et pétaoctets) que les bases de données relationnelles ne peuvent pas utiliser efficacement.
Organisation d'informations non structurées - textes, images, vidéos et autres types de données.
Analyse des mégadonnées (analyse des mégadonnées) - cela couvre les façons de travailler avec des informations non structurées, de créer des rapports de données analytiques et d'introduire des modèles prédictifs.

Marché de projetsgranddonnées est étroitement lié au marché VA - l'analyse commerciale, dont le volume en 2012 s'élevait à environ 100 milliards de dollars, et comprend technologies de réseau, logiciel, services techniques et serveurs.

L’automatisation des activités des entreprises, en particulier les solutions d’assurance des revenus (RA), est également inextricablement liée à l’utilisation des technologies Big Data. Aujourd'hui, les systèmes dans ce domaine contiennent des outils utilisés pour détecter les incohérences et pour une analyse approfondie des données, et aident également à identifier d'éventuelles pertes ou inexactitudes d'informations qui pourraient conduire à une diminution des résultats du secteur.

Les entreprises russes confirment qu'il existe une demande pour les technologies du Big Data ; elles notent séparément que les principaux facteurs influençant le développement du Big Data en Russie sont l'augmentation du volume de données, l'adoption rapide des décisions de gestion et l'augmentation de leur qualité.

Quel rôle le Big Data joue-t-il dans le marketing ?

Ce n'est un secret pour personne que l'information est l'un des principaux éléments d'une prévision et d'un développement réussis. stratégie de marketing, si vous savez comment l'utiliser.

L'analyse du Big Data est indispensable pour déterminer le public cible, ses intérêts et son activité. En d’autres termes, l’utilisation judicieuse du big data permet de prédire avec précision le développement d’une entreprise.

En utilisant, par exemple, le célèbre modèle d'enchères RTB, à l'aide de l'analyse du Big Data, il est facile de s'assurer que la publicité est affichée uniquement auprès des acheteurs potentiels intéressés par l'achat d'un service ou d'un produit.

Application le big data en marketing :

Vous permet de reconnaître les acheteurs potentiels et d'attirer le public approprié sur Internet.
Aide à évaluer la satisfaction.
Aide à adapter le service offert aux besoins de l’acheteur.
Facilite la recherche et la mise en œuvre de nouvelles méthodes pour fidéliser la clientèle.
Simplifie la création de projets qui seront par la suite demandés.

Un exemple particulier est le service Google.trends. Avec son aide, un spécialiste du marketing pourra identifier les prévisions pour la saison concernant un produit particulier, la géographie des clics et les fluctuations. Ainsi, en comparant les informations reçues avec les statistiques de votre propre site internet, il est assez simple d'établir un budget publicitaire indiquant la région et le mois.

Répartition du budget publicitaire : sur quoi vaut-il la peine d'investir

Comment et où stocker le Big Data Big Data

Système de fichiers- c'est ici que le Big Data est organisé et stocké. Toutes les informations sont disponibles en grande quantité disques durs sur PC.

"Carte"- carte - garde une trace de l'endroit où chaque élément d'information est directement stocké.

Afin de se prémunir contre des circonstances imprévues, il est d'usage de sauvegarder chaque information plusieurs fois - il est recommandé de le faire trois fois.

Par exemple, après avoir collecté des transactions individuelles dans une chaîne de vente au détail, toutes les informations sur chaque transaction individuelle seraient stockées sur plusieurs serveurs et disques durs, et une « carte » indexerait l'emplacement du fichier pour chaque transaction spécifique.

Afin d'organiser le stockage de données en gros volumes, vous pouvez utiliser des équipements techniques et des logiciels standards situés dans accès libre(par exemple, Hadoop).

Big data et business analytique : la différence entre les concepts

Aujourd’hui, l’analyse commerciale est un processus descriptif des résultats obtenus sur une période de temps spécifique. La vitesse actuelle de traitement du Big Data rend l’analyse prédictive. Vous pouvez compter sur ses recommandations à l'avenir. Les technologies du Big Data permettent d’analyser un plus grand nombre de types de données par rapport aux outils et outils utilisés en business analytique. Cela vous permet non seulement de vous concentrer sur les entrepôts où les données sont structurées, mais également d'utiliser des ressources beaucoup plus larges.

L'analyse commerciale et le Big Data sont similaires à bien des égards, mais il existe les différences suivantes :

Le Big Data permet de traiter un volume d’informations bien plus important que l’analyse commerciale, qui définit le concept même du Big Data.
Avec l'aide du Big Data, vous pouvez traiter rapidement les données reçues et modifiées, ce qui conduit à l'interactivité, c'est-à-dire que dans la plupart des cas, la vitesse de chargement d'une page Web est inférieure à la vitesse de génération des résultats.
Le Big Data peut être utilisé lors du traitement de données qui n'ont pas de structure, dont le travail ne doit commencer qu'après avoir assuré leur stockage et leur collecte. De plus, il est nécessaire d'appliquer des algorithmes capables d'identifier les principaux modèles dans les tableaux créés.

Le processus d’analyse commerciale n’est pas très similaire au travail du Big Data. En règle générale, l'analyse commerciale tend à obtenir des résultats en ajoutant des valeurs spécifiques : un exemple est le volume des ventes annuelles, calculé comme la somme de toutes les factures payées. Dans le processus de travail avec le Big Data, les calculs sont effectués en construisant un modèle étape par étape :

émettre une hypothèse ;
construire un modèle statique, visuel et sémantique ;
tester la validité de l'hypothèse basée sur les modèles spécifiés ;
avançant l’hypothèse suivante.

Afin de compléter le cycle de recherche, il est nécessaire d’interpréter des significations visuelles (requêtes interactives basées sur les connaissances). Un algorithme d’apprentissage automatique adaptatif peut également être développé.

Opinion d'expert

Vous ne pouvez pas vous fier aveuglément uniquement aux opinions des analystes

Viatcheslav Nazarov,

Directeur général du bureau de représentation russe d'Archos, Moscou

Il y a environ un an, sur la base de l'opinion d'experts, nous avons lancé absolument nouvelle tablette, console de jeu. La compacité et la puissance technique suffisante ont été reconnues par les fans de jeux informatiques. Il convient de noter que ce groupe, malgré son « étroitesse », disposait d'un pouvoir d'achat assez élevé. Au début, le nouveau produit a recueilli de nombreuses critiques positives dans les médias et a reçu une évaluation favorable de la part de nos partenaires. Cependant, il est vite devenu évident que les ventes de tablettes étaient assez faibles. La solution n’a jamais trouvé sa popularité massive.

Erreur. Notre défaut était que les intérêts du public cible n’étaient pas entièrement étudiés. Les utilisateurs qui préfèrent jouer sur une tablette n’ont pas besoin de super graphismes car ils jouent principalement à des jeux simples. Les joueurs sérieux sont déjà habitués à jouer sur ordinateur sur des plateformes plus avancées. Il n'y a pas eu de publicité massive pour notre produit, la campagne marketing a également été faible et, finalement, la tablette n'a trouvé son acheteur dans aucun des groupes spécifiés.

Conséquences. La production du produit a dû être réduite de près de 40 % par rapport aux volumes initialement prévus. Bien sûr, il n’y a pas eu de grosses pertes ni de bénéfices prévus. Cependant, cela nous a obligé à ajuster certains objectifs stratégiques. La chose la plus précieuse que nous avons irrémédiablement perdue est notre temps.

Conseil. Vous devez penser à l’avenir. Les gammes de produits doivent être pensées avec deux ou trois longueurs d’avance. Qu'est-ce que ça veut dire? Lors du lancement d'une certaine gamme de modèles aujourd'hui, il est souhaitable de comprendre son sort demain et d'avoir au moins une idée approximative de ce qui lui arrivera dans un an et demi. Bien entendu, il est peu probable qu’il soit possible d’obtenir des détails complets, mais un plan de base doit tout de même être élaboré.

Et vous ne devriez pas faire entièrement confiance aux analystes. Les évaluations des experts doivent être comparées à leurs propres données statistiques ainsi qu’à la situation opérationnelle du marché. Si votre produit n'est pas entièrement développé, vous ne devez pas le commercialiser, car pour l'acheteur, la première impression est la plus importante, et ensuite le convaincre ne sera pas une tâche facile.

Un conseil très important en cas d’échec est de prendre une décision rapide. Vous ne pouvez absolument pas simplement regarder et attendre. Résoudre un problème sans délai est toujours beaucoup plus facile et moins coûteux que de résoudre un problème négligé.

Quels problèmes le système Big Data crée-t-il ?

Il existe trois groupes principaux de problèmes des systèmes Big Data, qui dans la littérature étrangère sont combinés en 3V - Volume, Vitesse et Variété, c'est-à-dire :

Volume.
Vitesse de traitement.
Manque de structure.

La question du stockage de gros volumes d'informations est associée à la nécessité d'organiser certaines conditions, c'est-à-dire à la création d'espace et d'opportunités. Quant à la vitesse, elle n'est pas tant associée aux ralentissements et aux freinages lors de l'utilisation de méthodes de traitement obsolètes, mais à l'interactivité : plus le processus de traitement de l'information est rapide, plus le résultat est productif.

Le problème de la déstructuration vient de la séparation des sources, de leur format et de leur qualité. Une intégration et un traitement réussis du big data nécessitent à la fois un travail sur sa préparation et des outils ou systèmes d’analyse.
La limite de la « grandeur » des données a également une grande influence. Il est assez difficile de déterminer la valeur et, sur cette base, il est problématique de calculer quels investissements financiers seront nécessaires et quelles technologies seront nécessaires. Cependant, pour certaines quantités, par exemple les téraoctets, de nouvelles méthodes de traitement sont aujourd'hui utilisées avec succès, qui sont constamment améliorées.
L'absence de principes généralement acceptés pour travailler avec le Big Data est un autre problème, compliqué par l'hétérogénéité des flux susmentionnée. Pour résoudre ce problème, de nouvelles méthodes d'analyse du Big Data sont créées. D'après les déclarations des représentants des universités de New York, de Washington et de Californie, la création d'une discipline distincte et même de la science du Big Data n'est pas loin. C’est la principale raison pour laquelle les entreprises ne sont pas pressées de lancer des projets liés au big data. Un autre facteur est le coût élevé.
Des difficultés surviennent également dans la sélection des données à analyser et dans l'algorithme des actions. À ce jour, on ne comprend pas quelles données contiennent des informations précieuses et nécessitent une analyse Big Data, ni quelles données peuvent être ignorées. Dans cette situation, une chose devient claire : il n'y a pas assez de professionnels de l'industrie sur le marché qui peuvent effectuer une analyse approfondie, rédiger un rapport sur la résolution du problème et, par conséquent, générer des bénéfices.
La question présente également un aspect moral : la collecte de données à l’insu de l’utilisateur est-elle différente d’une grave atteinte à la vie privée ? Il convient de noter que la collecte de données améliore la qualité de vie : par exemple, la collecte continue de données dans les systèmes Google et Yandex aide les entreprises à améliorer leurs services en fonction des besoins des consommateurs. Les systèmes de ces services notent chaque clic de l'utilisateur, sa localisation et les sites visités, tous les messages et achats - et tout cela permet d'afficher des publicités basées sur le comportement de l'utilisateur. L'utilisateur n'a pas consenti à la collecte de données : aucun choix de ce type n'a été proposé. Cela nous amène au problème suivant : dans quelle mesure les informations stockées sont-elles sécurisées ? Par exemple, les informations sur les acheteurs potentiels, l'historique de leurs achats et les transitions vers divers sites peuvent aider à résoudre de nombreux problèmes commerciaux, mais la sécurité de la plate-forme utilisée par les acheteurs est une question très controversée. De nombreuses personnes soulignent qu'aujourd'hui, aucune installation de stockage de données - même les serveurs des services militaires - n'est suffisamment protégée contre les attaques de pirates informatiques.

Secrets d'affaires : protection et sanctions en cas de divulgation

Utilisation étape par étape du Big Data

Étape 1. Implémentation technologique de l'entreprise dans un projet stratégique.

Les tâches des spécialistes techniques comprennent l'élaboration préliminaire du concept de développement : analyse des voies de développement dans les domaines qui en ont le plus besoin.

Pour déterminer la composition et les tâches, une conversation est tenue avec les clients, à la suite de laquelle les ressources requises sont analysées. Dans le même temps, l'organisation décide d'externaliser complètement toutes les tâches ou de créer une équipe hybride composée de spécialistes de cette organisation et de toute autre organisation.

Selon les statistiques, un grand nombre d'entreprises utilisent exactement ce schéma : disposer d'une équipe d'experts à l'intérieur, surveiller la qualité du travail et former un mouvement, et à l'extérieur, tester directement les hypothèses sur le développement de n'importe quelle direction.

Étape 2 : Trouver un data scientist.

Le manager rassemble collectivement le personnel des ouvriers. Il est également responsable du développement du projet. Les collaborateurs RH jouent un rôle direct dans la création de l’équipe interne.

Tout d’abord, une telle équipe a besoin d’un ingénieur analyste de données, également appelé scientifique des données, qui aura pour tâche de formuler des hypothèses et d’analyser un ensemble d’informations. Les corrélations qu'il identifie seront utilisées à l'avenir pour établir de nouveaux produits et services.

Surtout au début, il est important tâche du service RH. Ses employés décident qui fera exactement le travail visant à développer le projet, où l'obtenir et comment le motiver. Il n'est pas si facile de trouver un ingénieur analyste de données, il s'agit donc d'un « produit à la pièce ».

Toute entreprise sérieuse doit disposer d'un spécialiste de ce profil, en sinon le focus du projet est perdu. Ingénieur analytique combiné : développeur, analyste et business analyst. De plus, il doit avoir des compétences en communication pour démontrer les résultats de ses activités et une richesse de connaissances et de compétences pour expliquer ses pensées en détail.

24 pensées qui déclenchent de grands changements dans la vie

Exemples de recherche

1. Une compagnie de taxi « Big Data » a été créée à Moscou. Tout au long du parcours, les passagers ont répondu à des tâches dans le domaine de l'analyse professionnelle. Si le passager répondait correctement à la plupart des questions, l'entreprise lui proposait un emploi. Le principal inconvénient de ce type de technique de sélection du personnel est la réticence de la majorité à participer à ce type de projet. Seules quelques personnes ont accepté l’entretien.

2. Organiser un concours spécial d'analyse commerciale avec une sorte de prix. Une grande banque russe a utilisé cette méthode. En conséquence, plus de 1 000 personnes ont participé au concours hackathon. Ceux qui ont obtenu le plus grand succès au concours se sont vu proposer un emploi. Malheureusement, la plupart des gagnants n'ont pas exprimé le désir de recevoir le poste, car leur motivation n'était que le prix. Mais néanmoins, plusieurs personnes ont accepté de travailler dans l'équipe.

3. Recherchez parmi des spécialistes des données qui comprennent l'analyse commerciale et sont capables de rétablir l'ordre en construisant algorithme correct Actions. Les compétences nécessaires d'un analyste spécialisé comprennent : la programmation, la connaissance de Python, R, Statistica, Rapidminer et d'autres connaissances non moins importantes pour un analyste commercial.

Étape 3. Création d'une équipe de développement.

Une équipe bien coordonnée est nécessaire. Lorsqu’il envisage des analyses avancées, telles que l’innovation d’une entreprise, un responsable devra créer et développer une intelligence d’affaires.

Ingénieur de Recherche est engagé dans la construction et le test d'hypothèses pour le développement réussi du vecteur choisi.

À la tête il faut organiser le développement du secteur d'activité choisi, créer de nouveaux produits et les coordonner avec les clients. Ses responsabilités incluent également le calcul des analyses de rentabilisation.

Un responsable du développement doit travailler en étroite collaboration avec tout le monde. L'ingénieur analytique et le responsable du développement des affaires identifient les besoins et les opportunités en matière d'analyse Big Data grâce à des rencontres avec les employés responsables des différents domaines du projet. Après avoir analysé la situation, le manager crée des cas grâce auxquels l'entreprise prendra des décisions sur le développement ultérieur d'une direction, d'un service ou d'un produit.

Responsable du développement : exigences et description de poste

3 principes de travail avec bigdà

Nous pouvons souligner les principales méthodes de travail avec le big data :

Évolutivité horizontale.Étant donné qu’il doit y avoir une énorme quantité de données, tout système traitant une grande quantité d’informations sera extensible. Par exemple, si le volume de données a augmenté plusieurs fois, le volume de matériel dans le cluster a augmenté en conséquence du même montant.
Tolérance aux pannes. Sur la base du principe d'évolutivité horizontale, nous pouvons conclure qu'il existe un grand nombre de machines dans le cluster. Par exemple, le cluster Hadoop de Yahoo en compte plus de 42 000. Toutes les méthodes de travail avec le big data doivent prendre en compte dysfonctionnements possibles et chercher des moyens de faire face aux problèmes sans conséquences.
Localité des données. Données stockées dans grands systèmes, distribué dans un assez grand nombre de machines. Ainsi, dans une situation où les données sont stockées sur le serveur n°1 et traitées sur le serveur n°2, on ne peut exclure la possibilité que leur transfert coûte plus cher que le traitement. C'est pourquoi, lors de la conception, une grande attention est accordée à ce que les données soient stockées et traitées sur un seul ordinateur.

Toutes les méthodes de travail avec le Big Data, d'une manière ou d'une autre, adhèrent à ces trois principes.

Comment utiliser le système Big Data

Des solutions Big Data efficaces pour une grande variété de domaines d’activité sont obtenues grâce aux nombreuses combinaisons de logiciels et de matériels qui existent actuellement.

Dignité importantegranddonnées- la possibilité d'utiliser de nouveaux outils avec ceux déjà utilisés dans ce domaine. Cela joue un rôle particulièrement important dans les situations impliquant des projets interdisciplinaires. Un exemple est les ventes multicanaux et le support client.

Pour travailler avec du big data, une certaine séquence est importante :

Premièrement, les données sont collectées ;
alors l’information est structurée. A cet effet, des tableaux de bord sont utilisés ( Tableaux de bord - outils de structuration;
à l'étape suivante, des idées et des contextes sont créés, sur la base desquels des recommandations pour la prise de décision sont formulées. En raison des coûts élevés de la collecte de données, la tâche principale est de déterminer le but de l'utilisation des informations obtenues.

Exemple. Agences de publicité peut utiliser des informations de localisation regroupées auprès d’entreprises de télécommunications. Cette approche fournira une publicité ciblée. Les mêmes informations sont applicables dans d'autres domaines liés à la fourniture et à la vente de services et de biens.

Les informations ainsi obtenues peuvent être essentielles pour décider d'ouvrir ou non un magasin dans une zone particulière.

Si l'on considère le cas de l'utilisation de panneaux d'affichage extérieurs à Londres, il ne fait aucun doute qu'aujourd'hui une telle expérience n'est possible que si un appareil de mesure spécial est placé à proximité de chaque panneau d'affichage. Dans le même temps opérateurs mobiles connaître toujours les informations de base sur leurs abonnés : leur localisation, Situation familiale et ainsi de suite.

Un autre domaine d'application potentiel du Big Data est la collecte d'informations sur le nombre de visiteurs de divers événements.

Exemple. Les organisateurs de matches de football ne sont pas en mesure de connaître à l’avance le nombre exact de personnes venues assister au match. Cependant, ils recevraient de telles informations s'ils utilisaient les informations des opérateurs mobiles : où se trouvent les visiteurs potentiels pendant une certaine période de temps - un mois, une semaine, un jour - avant le match. Il s'avère que les organisateurs auraient la possibilité de planifier le lieu de l'événement en fonction des préférences du public cible.

Le Big Data apporte également des avantages incomparables au secteur bancaire, qui peut utiliser les données traitées pour identifier les titulaires de cartes peu scrupuleux.

Exemple. Lorsqu’un titulaire de carte signale sa perte ou son vol, la banque a la possibilité de suivre la localisation de la carte utilisée pour le paiement et le téléphone portable du titulaire pour vérifier la véracité des informations. Ainsi, le représentant de la banque a la possibilité de constater que la carte de paiement et téléphone mobile les titulaires sont dans la même zone. Cela signifie que le propriétaire utilise la carte.

Grâce aux avantages de ce type d’informations, l’utilisation de l’information offre aux entreprises de nombreuses nouvelles opportunités et le marché du big data continue de se développer.

La principale difficulté de la mise en œuvre du Big Data est la complexité du calcul du cas. Ce processus est compliqué par la présence d'un grand nombre d'inconnues.

Il est assez difficile de faire des prévisions pour l’avenir, alors que les données sur le passé ne sont pas toujours accessibles. Dans cette situation, le plus important est planifier vos premières actions:

Définir un problème spécifique pour déterminer quelle technologie de traitement du Big Data sera appliquée aidera à déterminer le concept et à définir le vecteur actions supplémentaires. Après s’être concentré sur la collecte d’informations spécifiquement sur cette question, il convient également d’utiliser tous les outils et méthodes disponibles pour obtenir une image plus claire. De plus, cette approche facilitera grandement le processus de prise de décision à l'avenir.
La probabilité qu'un projet Big Data soit mis en œuvre par une équipe sans certaines compétences et expériences est extrêmement faible. Les connaissances nécessaires à une recherche aussi complexe s'acquièrent généralement au terme d'un long travail, c'est pourquoi l'expérience préalable est si importante dans ce domaine. Il est difficile de surestimer l’influence d’une culture d’utilisation des informations obtenues grâce à de telles recherches. Ils offrent diverses opportunités, notamment l'abus des matériaux reçus. Pour utiliser les informations à bon escient, vous devez respecter les règles de base d’un traitement correct des données.
Les informations sont la valeur fondamentale de la technologie. Le marché connaît encore une grave pénurie de spécialistes compétents qui comprennent les lois de la conduite des affaires, l'importance de l'information et la portée de son application. On ne peut ignorer le fait que l’analyse des données est un moyen clé pour atteindre les objectifs et développer une entreprise ; il faut s’efforcer de développer un modèle spécifique de comportement et de perception. Dans ce cas, le big data sera bénéfique et jouera un rôle positif dans la résolution des problèmes de gestion d'entreprise.

Cas réussis de mise en œuvre du Big Data

Certains des cas énumérés ci-dessous ont eu plus de succès dans la collecte de données, d'autres dans l'analyse du Big Data et dans la manière d'appliquer les données obtenues au cours de l'étude.

« Systèmes de crédit Tinkoff» a utilisé la plateforme EMC2 Greenplum pour le calcul massivement parallèle. En raison de l'augmentation continue du flux d'utilisateurs de cartes dans la banque, il était nécessaire d'accélérer le traitement des données. Il a été décidé d'utiliser le Big Data et de travailler avec des informations non structurées, ainsi qu'avec des informations d'entreprise obtenues à partir de sources disparates. Il n'a pas échappé à l'attention de leurs spécialistes que la couche analytique de l'entrepôt de données fédéral est en cours d'introduction sur le site Internet du Service fédéral des impôts de Russie. Par la suite, sur cette base, il est prévu d'aménager un espace donnant accès aux données du système fiscal pour un traitement ultérieur et l'obtention de données statistiques.
La startup russe mérite d'être considérée séparément Synqéra, s'est engagé dans l'analyse en ligne du Big Data et a développé la plateforme Simplate. L'essentiel est qu'une grande quantité de données est traitée, les données sur les consommateurs, leurs achats, leur âge, leur humeur et leur état d'esprit sont analysées. Une chaîne de magasins de cosmétiques a installé aux caisses des capteurs capables de reconnaître les émotions des clients. Après avoir déterminé l'ambiance, les informations sur l'acheteur et le moment de l'achat sont analysées. L’acheteur reçoit ensuite des informations ciblées sur les remises et promotions. Cette solution a fidélisé les consommateurs et a pu augmenter les revenus du vendeur.
Il faudrait aussi parler d'une étude de cas sur l'utilisation des technologies big data dans une entreprise Dunkin Donuts, qui, comme dans l’exemple précédent, utilisait l’analyse en ligne pour augmenter ses bénéfices. Ainsi, dans les points de vente, des affichages affichaient des offres spéciales dont le contenu changeait à chaque minute. La base des substitutions dans le texte était à la fois l'heure de la journée et le produit en stock. À partir des reçus de caisse, l'entreprise a reçu des informations sur les articles les plus demandés. Cette méthode nous a permis d'augmenter les revenus et la rotation des stocks.

Ainsi, le traitement du Big Data a un effet positif sur la résolution des problèmes commerciaux. Un facteur important, bien entendu, est le choix de la stratégie et de l’utilisation. les derniers développements dans le domaine du big data.

Informations sur l'entreprise

Archos. Domaine d'activité : production et vente d'équipements électroniques. Territoire : des bureaux commerciaux sont ouverts dans neuf pays (Espagne, Chine, Russie, USA, France…). Nombre d'employés de la succursale : 5 (dans le bureau de représentation russe).

Chronique d'enseignants HSE sur les mythes et les cas de travail avec le Big Data

Vers les favoris

Les enseignants de l'École des nouveaux médias de l'École supérieure d'économie de l'Université nationale de recherche Konstantin Romanov et Alexander Pyatigorsky, qui est également directeur de la transformation numérique chez Beeline, ont écrit une chronique pour le site sur les principales idées fausses sur le Big Data - exemples d'utilisation la technologie et les outils. Les auteurs suggèrent que la publication aidera les dirigeants d'entreprise à comprendre ce concept.

Mythes et idées fausses sur le Big Data

Le Big Data n'est pas du marketing

Le terme Big Data est devenu très à la mode : il est utilisé dans des millions de situations et avec des centaines d'interprétations différentes, souvent sans rapport avec ce dont il s'agit. Les concepts sont souvent substitués dans la tête des gens et le Big Data est confondu avec un produit marketing. De plus, dans certaines entreprises, le Big Data fait partie du service marketing. Le résultat de l’analyse du big data peut en effet être une source d’activité marketing, mais rien de plus. Voyons voir comment ça fonctionne.

Si nous avons identifié une liste de ceux qui ont acheté des produits d'une valeur de plus de trois mille roubles dans notre magasin il y a deux mois, puis envoyé à ces utilisateurs une sorte d'offre, il s'agit alors d'un marketing typique. Nous obtenons une tendance claire à partir des données structurelles et l'utilisons pour augmenter les ventes.

Cependant, si nous combinons les données CRM avec des informations en streaming provenant, par exemple, d'Instagram et que nous les analysons, nous trouvons une tendance : une personne qui a réduit son activité mercredi soir et dont la dernière photo montre des chatons devrait faire une certaine offre. Ce sera déjà du Big Data. Nous avons trouvé un déclencheur, l'avons transmis aux spécialistes du marketing et ils l'ont utilisé à leurs propres fins.

Il s'ensuit que la technologie fonctionne généralement avec des données non structurées, et même si les données sont structurées, le système continue d'y rechercher des modèles cachés, ce que le marketing ne fait pas.

Le Big Data n'est pas de l'informatique

Deuxième extrême de cette histoire : le Big Data est souvent confondu avec l’informatique. Cela est dû au fait que dans les entreprises russes, en règle générale, les informaticiens sont les moteurs de toutes les technologies, y compris le Big Data. Par conséquent, si tout se passe dans ce département, l'entreprise dans son ensemble a l'impression qu'il s'agit d'une sorte d'activité informatique.

En fait, il y a ici une différence fondamentale : le Big Data est une activité visant à obtenir un produit spécifique, qui n'a rien à voir avec l'informatique, même si la technologie ne peut exister sans elle.

Le Big Data n'est pas toujours la collecte et l'analyse d'informations

Il existe une autre idée fausse à propos du Big Data. Tout le monde comprend que cette technologie implique de grandes quantités de données, mais de quel type de données il s’agit n’est pas toujours clair. N'importe qui peut collecter et utiliser des informations ; cela est désormais possible non seulement dans les films, mais aussi dans n'importe quelle entreprise, même la plus petite. La seule question est de savoir quoi collecter exactement et comment l’utiliser à votre avantage.

Mais il faut comprendre que la technologie Big Data ne consistera pas à collecter et à analyser absolument n'importe quelle information. Par exemple, si vous collectez des données sur les réseaux sociaux concernant personne spécifique, ce ne sera pas du Big Data.

Qu’est-ce que le Big Data réellement ?

Le Big Data se compose de trois éléments :

données;
analytique;
les technologies.

Le Big Data n’est pas seulement l’un de ces composants, mais une combinaison des trois éléments. Les gens substituent souvent des concepts : certains pensent que le Big Data n’est que des données, d’autres pensent qu’il s’agit de technologie. Mais en réalité, quelle que soit la quantité de données que vous collectez, vous ne pourrez rien en faire sans la technologie et les analyses appropriées. S’il existe de bonnes analyses, mais pas de données, c’est encore pire.

Si nous parlons de données, il ne s'agit pas seulement de textes, mais aussi de toutes les photos publiées sur Instagram, et en général de tout ce qui peut être analysé et utilisé à différentes fins et tâches. En d’autres termes, les Données font référence à d’énormes volumes de données internes et externes de diverses structures.

L'analyse est également nécessaire, car la tâche du Big Data est de créer des modèles. Autrement dit, l'analyse est l'identification des dépendances cachées et la recherche de nouvelles questions et réponses basées sur l'analyse de l'ensemble du volume de données hétérogènes. De plus, le Big Data pose des questions qui ne peuvent être directement dérivées de ces données.

Côté images, le fait que vous postiez une photo de vous portant un T-shirt bleu ne veut rien dire. Mais si vous utilisez la photographie pour la modélisation du Big Data, vous constaterez peut-être que vous devriez dès maintenant proposer un prêt, car dans votre groupe social un tel comportement indique un certain phénomène dans les actions. Par conséquent, des données « nues » sans analyse, sans identification de dépendances cachées et non évidentes ne constituent pas du Big Data.

Nous avons donc du Big Data. Leur éventail est immense. Nous avons également un analyste. Mais comment pouvons-nous être sûrs qu’à partir de ces données brutes, nous trouverons une solution spécifique ? Pour ce faire, nous avons besoin de technologies qui nous permettent non seulement de les stocker (ce qui était impossible auparavant), mais aussi de les analyser.

En termes simples, si vous disposez de beaucoup de données, vous aurez besoin de technologies, par exemple Hadoop, qui permettent de stocker toutes les informations sous leur forme originale pour une analyse ultérieure. Ce type de technologie est apparu chez les géants de l'Internet, car ils ont été les premiers à être confrontés au problème du stockage d'une grande quantité de données et de leur analyse en vue d'une monétisation ultérieure.

En plus des outils de stockage de données optimisés et bon marché, vous avez besoin d'outils analytiques, ainsi que de modules complémentaires à la plateforme utilisée. Par exemple, tout un écosystème de projets et de technologies connexes s'est déjà formé autour de Hadoop. En voici quelques uns:

Pig est un langage d'analyse de données déclaratif.
Hive - analyse de données à l'aide d'un langage similaire à SQL.
Oozie - Flux de travail Hadoop.
Hbase est une base de données (non relationnelle), similaire à Google Big Table.
Mahout - apprentissage automatique.
Sqoop - transfert de données de RSDB vers Hadoop et vice versa.
Flume - transfert des journaux vers HDFS.
Zookeeper, MRUnit, Avro, Giraph, Ambari, Cassandra, HCatalog, Fuse-DFS et ainsi de suite.

Tous ces outils sont accessibles à tous gratuitement, mais il existe également un certain nombre de modules complémentaires payants.

De plus, des spécialistes sont nécessaires : un développeur et un analyste (le soi-disant Data Scientist). Il faut également un manager capable de comprendre comment appliquer ces analyses pour résoudre un problème spécifique, car en soi, elles n'ont aucun sens si elles ne sont pas intégrées aux processus métier.

Les trois employés doivent travailler en équipe. Un manager qui confie à un spécialiste de la Data Science la tâche de trouver un certain modèle doit comprendre qu'il ne trouvera pas toujours exactement ce dont il a besoin. Dans ce cas, le manager doit écouter attentivement ce que le Data Scientist a trouvé, car ses conclusions s'avèrent souvent plus intéressantes et utiles pour l'entreprise. Votre travail consiste à appliquer cela à une entreprise et à en faire un produit.

Même s'il existe aujourd'hui de nombreux types de machines et de technologies, la décision finale appartient toujours à la personne. Pour ce faire, les informations doivent être visualisées d’une manière ou d’une autre. Il existe de nombreux outils pour cela.

L’exemple le plus parlant est celui des rapports géoanalytiques. La société Beeline travaille beaucoup avec les gouvernements de différentes villes et régions. Très souvent, ces organisations commandent des rapports tels que « Congestion du trafic à un certain endroit ».

Il est clair qu'un tel rapport devrait parvenir aux agences gouvernementales sous une forme simple et compréhensible. Si nous leur fournissons un tableau énorme et complètement incompréhensible (c'est-à-dire des informations telles que nous les recevons), il est peu probable qu'ils achètent un tel rapport - il sera complètement inutile, ils n'en tireront pas la connaissance que ils voulaient recevoir.

Par conséquent, quelle que soit la qualité des data scientists et quels que soient les modèles qu’ils trouvent, vous ne pourrez pas travailler avec ces données sans de bons outils de visualisation.

Les sources de données

La gamme de données obtenues est très large et peut donc être divisée en plusieurs groupes.

Données internes de l'entreprise

Même si 80 % des données collectées appartiennent à ce groupe, cette source n’est pas toujours utilisée. Il s’agit souvent de données dont personne n’a apparemment besoin, par exemple des journaux. Mais si vous les regardez sous un angle différent, vous pouvez parfois y découvrir des motifs inattendus.

Sources de sharewares

Cela inclut les données des réseaux sociaux, d’Internet et tout ce qui est accessible gratuitement. Pourquoi le shareware est-il gratuit ? D'une part, ces données sont accessibles à tous, mais si vous êtes une grande entreprise, alors les obtenir à l'échelle d'une base d'abonnés de dizaines de milliers, de centaines ou de millions de clients n'est plus une tâche facile. Il existe donc des services payants sur le marché pour fournir ces données.

Sources payantes

Cela inclut les entreprises qui vendent des données contre de l’argent. Il peut s'agir de sociétés de télécommunications, de DMP, de sociétés Internet, de bureaux de crédit et d'agrégateurs. En Russie, les télécoms ne vendent pas de données. Premièrement, cela n’est pas rentable du point de vue économique et, deuxièmement, cela est interdit par la loi. Ils vendent donc les résultats de leur traitement, par exemple des rapports géoanalytiques.

Données ouvertes

L’État est accommodant avec les entreprises et leur donne la possibilité d’utiliser les données qu’elles collectent. Ceci est davantage développé en Occident, mais la Russie, à cet égard, reste également dans l’air du temps. Par exemple, il existe un portail de données ouvertes du gouvernement de Moscou, où sont publiées des informations sur diverses infrastructures urbaines.

Pour les résidents et les invités de Moscou, les données sont présentées sous forme tabulaire et cartographique, et pour les développeurs - dans des formats spéciaux lisibles par machine. Bien que le projet fonctionne de manière limitée, il se développe, ce qui signifie qu'il constitue également une source de données que vous pouvez utiliser pour vos tâches commerciales.

Recherche

Comme nous l'avons déjà indiqué, la tâche du Big Data est de trouver un modèle. Souvent, les recherches menées dans le monde entier peuvent devenir un point d'appui pour trouver un modèle particulier - vous pouvez obtenir un résultat spécifique et essayer d'appliquer une logique similaire à vos propres objectifs.

Le Big Data est un domaine dans lequel toutes les lois des mathématiques ne s’appliquent pas. Par exemple, « 1 » + « 1 » ne signifie pas « 2 », mais bien plus, car en mélangeant les sources de données, l'effet peut être considérablement amélioré.

Exemples de produits

De nombreuses personnes connaissent le service de sélection musicale Spotify. C’est génial car il ne demande pas aux utilisateurs quelle est leur humeur du jour, mais la calcule plutôt en fonction des sources dont il dispose. Il sait toujours ce dont vous avez besoin maintenant : du jazz ou du hard rock. C’est la principale différence qui lui confère des fans et le distingue des autres services.

Ces produits sont généralement appelés produits sensoriels - ceux que ressentent leurs clients.

La technologie Big Data est également utilisée dans l’industrie automobile. Par exemple, Tesla fait cela : son dernier modèle est doté d'un pilote automatique. L'entreprise s'efforce de créer une voiture qui emmènera elle-même le passager là où il doit aller. Sans Big Data, cela est impossible, car si nous utilisons uniquement les données que nous recevons directement, comme le fait une personne, alors la voiture ne pourra pas s'améliorer.

Lorsque nous conduisons nous-mêmes une voiture, nous utilisons nos neurones pour prendre des décisions basées sur de nombreux facteurs que nous ne remarquons même pas. Par exemple, nous ne comprenons peut-être pas pourquoi nous avons décidé de ne pas accélérer immédiatement au feu vert, mais il s'avère ensuite que la décision était la bonne - une voiture vous a dépassé à une vitesse vertigineuse et vous avez évité un accident.

Vous pouvez également donner un exemple d'utilisation du Big Data dans le sport. En 2002, le directeur général de l'équipe de baseball des Oakland Athletics, Billy Beane, a décidé de briser le paradigme du recrutement des athlètes : il a sélectionné et entraîné les joueurs « en fonction des chiffres ».

Habituellement, les managers examinent le succès des joueurs, mais dans ce cas, tout était différent - pour obtenir des résultats, le manager étudiait les combinaisons d'athlètes dont il avait besoin, en prêtant attention aux caractéristiques individuelles. De plus, il a choisi des athlètes qui n'avaient pas beaucoup de potentiel en eux-mêmes, mais l'équipe dans son ensemble s'est avérée si performante qu'elle a remporté vingt matches d'affilée.

Le réalisateur Bennett Miller a ensuite réalisé un film consacré à cette histoire : « L'homme qui a tout changé », avec Brad Pitt.

La technologie Big Data est également utile dans le secteur financier. Pas une seule personne au monde ne peut déterminer de manière indépendante et précise s’il vaut la peine d’accorder un prêt à quelqu’un. Afin de prendre une décision, une notation est effectuée, c'est-à-dire qu'un modèle probabiliste est construit, à partir duquel on peut comprendre si cette personne restituera l'argent ou non. De plus, le scoring s'applique à toutes les étapes : vous pouvez, par exemple, calculer qu'à un certain moment une personne cessera de payer.

Le Big Data permet non seulement de gagner de l’argent, mais aussi de l’économiser. Cette technologie a notamment aidé le ministère allemand du Travail à réduire le coût des allocations de chômage de 10 milliards d'euros, puisqu'après analyse des informations, il est devenu clair que 20 % des allocations étaient versées à tort.

Les technologies sont également utilisées en médecine (c'est particulièrement typique d'Israël). Avec l’aide du Big Data, vous pouvez effectuer une analyse beaucoup plus précise qu’un médecin ayant trente ans d’expérience.

Tout médecin, lorsqu'il pose un diagnostic, ne s'appuie que sur lui-même expérience personnelle. Lorsqu'une machine fait cela, cela vient de l'expérience de milliers de médecins et de tous histoires existantes maladies. Il prend en compte le matériau dont est faite la maison du patient, la région dans laquelle vit la victime, le type de fumée qui s’y dégage, etc. Autrement dit, il prend en compte de nombreux facteurs que les médecins ne prennent pas en compte.

Un exemple d'utilisation du Big Data dans le domaine des soins de santé est le projet Artemis, mis en œuvre par l'Hôpital pour enfants de Toronto. Il s'agit d'un système d'information qui collecte et analyse les données sur les bébés en temps réel. La machine permet d'analyser 1260 indicateurs de santé de chaque enfant chaque seconde. Ce projet vise à prédire l'état instable d'un enfant et à prévenir les maladies chez les enfants.

Le Big Data commence également à être utilisé en Russie : par exemple, Yandex possède une division Big Data. La société, en collaboration avec AstraZeneca et la Société russe d'oncologie clinique RUSSCO, a lancé la plateforme RAY, destinée aux généticiens et biologistes moléculaires. Le projet nous permet d'améliorer les méthodes de diagnostic du cancer et d'identification des prédispositions au cancer. La plateforme sera lancée en décembre 2016.

Site sur l'informatique

Revue analytique du marché du Big Data

QU'EST-CE QUE LE BIG DATA ?

Principales caractéristiques

Technologies du Big Data

Applications dans les industries

Exemples d'utilisation du Big Data en entreprise

APERÇU DU MARCHÉ MONDIAL DU BIG DATA

État actuel du marché mondial

Big Data dans différents pays du monde

Principales tendances du marché

Facteurs et limiteurs du marché

ANALYSE DU MARCHÉ RUSSE

État actuel du marché russe

Aperçu du marché par secteur et expérience dans l'utilisation du Big Data dans les entreprises

Principaux moteurs et limitateurs du marché

Prévisions du marché russe

Principaux résultats de l'analyse de marché

Marché mondial

marché russe

Lire aussi :

Big data - en termes simples

Lire aussi :

Technologie des mégadonnées

Lire aussi :

Lire aussi :

Big data : applications et opportunités

Solutions basées sur le Big data : Sberbank, Beeline et autres sociétés

Lire aussi :

Le Big Data dans le monde

Le marché du Big Data en Russie

Le Big Data dans les banques

Quels sont les avantages de l’utilisation des technologies Big Data dans le marketing et les affaires ?

Exemples d'utilisation du Big Data

Marché des technologies Big Data en Russie et dans le monde

Meilleurs livres sur le Big Data

"Introduction à l'exploration de données" par Pang-Ning Tan, Michael Steinbach et Vipin Kumar

"Hadoop pour les nuls", Dirk Derus, Paul S. Zikopoulos, Roman B. Melnik

Meilleur article du mois

Quel rôle le Big Data joue-t-il dans le marketing ?

Comment et où stocker le Big Data Big Data

Big data et business analytique : la différence entre les concepts

Vous ne pouvez pas vous fier aveuglément uniquement aux opinions des analystes

Quels problèmes le système Big Data crée-t-il ?

Utilisation étape par étape du Big Data

3 principes de travail avec bigdà

Comment utiliser le système Big Data

Cas réussis de mise en œuvre du Big Data

Informations sur l'entreprise

Mythes et idées fausses sur le Big Data

Le Big Data n'est pas du marketing

Le Big Data n'est pas de l'informatique

Le Big Data n'est pas toujours la collecte et l'analyse d'informations

Qu’est-ce que le Big Data réellement ?

Les sources de données

Données internes de l'entreprise

Sources de sharewares

Sources payantes

Données ouvertes

Recherche

Exemples de produits

ARTICLES LIÉS