Die TechCrunch Disrupt Messe in der Arena Berlin. Foto von Dr. Andreas Schäfer
Die TechCrunch Disrupt Berlin brachte vom 29.11 bis 30.11.2018 neue Startups mit Investoren in der Arena Berlin auf dem “alten Kontinent” zusammen. Das Themenspektrum reichte von Kryptowährungen, künstlicher Intelligenz, selbstfahrenden Fahrzeugen bis hin zu sozialen Initiativen und Innovationen zum Schutz der Umwelt und der Menschenrechte. Es war die zweite TechCrunch Disrupt in der Hauptstadt und die fünfte in ganz Europa.
TechCrunch Disrupt Messehalle in der Arena Berlin. Foto von Dr. Andreas Schäfer
Eines der wichtigsten Elemente war die “Startup Alley”, in der die Teilnehmer mit Vertretern von über 400 Early-Stage Start-ups aus Europa sprechen konnten. Ausgewählte Start-ups konnten hier einen Stand belegen; die Stände waren thematisch organisiert. Implisense stellte im Themenbereich Machine Learning & Artificial Intelligence aus.
Dr. André Bergholz von Implisense auf der Startup Alley. Foto von Dr. Andreas Schäfer
An unserem Stand begrüßten wir sowohl Investoren als auch Vertreter global tätiger Unternehmen. Diese interessierten sich insbesondere für unsere neue Profiling-Technologie für Firmen innerhalb und außerhalb Deutschlands. Wir haben diese Technologie im Forschungsprojekt CPP entwickelt und nun erstmals öffentlich in Produktform vorgestellt.
Firmenprofil von Implisense in chinesischer Sprache
Wir haben die TechCrunch als eine sehr professionell organisierte Messe mit spannenden internationalen Startups und Investoren erlebt. Implisense wird gerne wieder dabei sein, wenn es eine Wiederholung auf dem alten Kontinent gibt!
Based on a current data collection from our company index on April 30, 2018, only 10,775 companies from Germany have modified their data protection declaration in response to the new General Data Protection Regulation (GDPR). The evaluation indicates that micro-enterprises in particular are struggling to implement the more extensive requirements. Companies with business models in which data and data exchange play a critical role take advantage of the opportunity to proactively adapt their data protection.
About Implisense: The Berlin-based start-up Implisense is one of Germany’s leading providers in the field of B2B lead generation. Our text mining procedures analyze online content for all companies listed in the commercial register and located in Germany. The data obtained are assigned to the companies as structured characteristics and thus enable to identify, evaluate and observe potential business partners, customers or competitors from a new perspective.
The General Data Protection Regulation is approaching and putting pressure on many companies. Serious penalties linked to company turnover are imminent. At the same time, the new requirements, for example in the areas of documentation, data security and transparency, should not be underestimated. It is not uncommon for managing directors, authorised signatories or data protection officers to sit in front of never-ending checklists, create biblically-sized documentations, and finally make a revised data protection declaration of often far more than 10 pages available.
After all, the fair use of personal data by the private sector is an issue that society and legislation must constantly keep up with in times of drastically developing information technologies.
Analysis of companies with a GDPR updated privacy policy
Against this background, Implisense has investigated how many companies are highly likely to have already addressed this issue and updated their data protection agreements. For this purpose, we have calculated the distribution of relevant signal words – such as the direct reference to the now applicable European Directive, synonyms (e.g. GDPR, General Data Protection Regulation and the German term DSGVO), and typical formulations – on company websites. The occurrence of the indications was then faceted with a view to other company characteristics, such as industry affiliation and size, in order to identify the associated characteristics.
Only one of 50 companies has adapted the data protection declaration
Even if the possible additional costs of implementing the new regulation are taken into account, the result is surprisingly clear. Our analysis suggests that only 10,775 companies have references to an adapted data protection declaration. This is all the more remarkable with a total of approximately 593,337 active companies registered in the commercial register and with sufficient data. This corresponds to approx. 1.8% or 1 of 50 companies.
A potential aspect can already be anticipated when looking at the distribution of these companies over the size of the company. Smaller companies in particular are struggling with the new requirements. For example, we estimate that micro-enterprises account for around 69% of the total. For companies with GDPR references, this shrinks to 61%. Large enterprises, on the other hand, are almost twice as often represented as in the total volume at 3%. The following graph compares the size distribution of companies in the population (left) with the estimated distribution of companies with updated data protection declaration (right).
Overall distribution by company size (left) and GDPR update by company size (right)
The potential link between company size and data protection update suggests that certain industries and business models could also be more strongly associated with it. The graph below shows industries that are disproportionately frequently represented in the hits (top 20 in order; WZ 2008) and their absolute number of hits.
Number of companies with GDPR updated privacy policy by industry.
The IT sector, for example, is most over-represented (J62). With 2,732 hits, these also account for the bulk of companies with an updated data protection declaration. Other sectors with data- and communication-intensive business models dominate the list, e.g. IT service providers (J63), the retail sector (G46, G47), lawyers (M69), financial service providers (K64) and consulting firms (M70). So if companies have updated their data protection, it is probably only because an extreme amount of data is generated on the basis of their business model. Slightly unexpectedly, the crafts (F43), electrical engineering (C26) and metal production (C25), as well as the education sector (P85) are to be found in it.
Exemplary hits on companies with updated data protection declaration from a greatly simplified analysis can be viewed directly on our platform Companies and Markets:
The lists of example companies for example quickly show that companies from the education sector often offer training measures in the field of DGPR and are therefore assigned to this topic.
Our small analysis to identify companies that have already dealt with the GDPR is based on probabilistic methods and is therefore not necessarily representative. It covers companies that are only highly likely to have already done their homework on the General Data Protection Regulation.
It can also be further refined. As the example of training providers in the field of GDPR shows, e.g. by excluding certain sectors from the analysis. Finally, it does not necessarily state that existing data protection policies at companies that were not in the hit list are not already professionally designed and may only need to be formally adapted. In our opinion, the effects of these restrictions cannot call into question the basic findings of the evaluation.
Only a fraction of companies in Germany are finally prepared for the General Data Protection Regulation a few weeks before the implementation deadline expires. There is evidence that micro-enterprises in particular find it more difficult to ensure implementation. If so, then companies with particularly data-intensive and communication-intensive business models tend to implement the new data protection regulations. The question is, what business models in the age of digitization can still afford not to work with data to an appropriate extent?
Basierend auf einer aktuellen Datenerhebung aus unserem Firmenindex zum Stichtag 30.4.2018 haben erst 10.775 Firmen aus Deutschland ihre Datenschutzerklärung hinblicklich der neuen Datenschutz-Grundverordnung (DSGVO) angepasst. Die Auswertung deutet darauf hin, dass gerade Kleinstunternehmen mit der Umsetzung der umfangreicheren Anforderungen zu kämpfen haben. Firmen mit Geschäftsmodellen, bei denen Daten und Datenaustausch eine kritische Rolle einnehmen, nutzen dagegen im Vergleich eher die Gelegenheit, ihren Datenschutz proaktiv anzupassen.
Zu Implisense: Das Berliner Start-Up Implisense ist ein bundesweit führender Anbieter im Bereich B2B Lead Generierung. Unsere Text Mining Verfahren analysieren Online Contents zu sämtlichen im Handelsregister geführten und in Deutschland ansässigen Unternehmen. Die gewonnenen Daten werden als strukturierte Eigenschaften den Firmen zugeordnet und ermöglichen es so potenziellen Geschäftspartner, Kunden oder Wettbewerber zu identifizieren, aus einer neuen Perspektive zu bewerten und zu beobachten.
Die Datenschutz-Grundverordnung naht und setzt viele Firmen unter Druck. Empfindliche Strafen gekoppelt an Unternehmensumsätze drohen. Gleichzeitig sind die neuen Anforderungen, etwa in den Bereich Dokumentation, Datensicherheit und Transparenz, nicht zu unterschätzen. Nicht selten sitzen Geschäftsführer, Prokurist oder Datenschutzbeauftragter vor nicht endend wollenden Checklisten, erstellen Dokumentationen biblischen Ausmaßes, um dann schlussendlich eine überarbeitete Datenschutzerklärung von oft weit mehr als 10 Seiten rechtzeitig zur Verfügung zu stellen.
Zu Recht, schließlich ist der faire privatwirtschaftliche Umgang mit personenbezogenen Daten in Zeiten sich drastisch entwickelnder Informationstechnologien ein Thema mit dem Gesellschaft und Gesetzgebung ständig mithalten müssen.
Analyse der Firmen mit DSGVO aktualisierter Datenschutzerklärung
Vor diesem Hintergrund hat Implisense untersucht, wie viele Firmen sich mit hoher Wahrscheinlichkeit bereits jetzt mit diesem Thema auseinandergesetzt und ihre Datenschutzvereinbarungen aktualisiert haben. Hierfür haben wir die Verbreitung von einschlägigen Signalwörtern – etwa die direkte Bezugnahme auf die nun geltende Europäische Richtlinie, Synonyme (z.B. die Englische Bezeichnung dafür, GDPR, General Data Protection Regulation), und typische Formulierungen – auf Firmenwebsites berechnet. Die Vorkommen der Hinweise wurde dann mit Blick auf weitere Firmeneigenschaften, wie Branchenzugehörigkeit und Größe facettiert, um damit einhergehende Merkmale zu erkennen.
Nur eine von 50 Firmen hat die Datenschutzerklärung angepasst
Selbst bei Beachtung der eventuellen Zusatzaufwände bei der Umsetzung der neuen Verordnung überrascht doch das Ergebnis in seiner Deutlichkeit. Unsere Analyse legt nahe, dass sich gerade einmal bei 10.775 Firmen Hinweise auf eine angepasste Datenschutzerklärung finden. Dies ist umso erstaunlicher bei einer Grundgesamtheit von ca. 593 337 handelsregisterlich erfassten aktiven Unternehmen mit hinreichender Datengrundlage. Dies entspricht ca. 1,8% oder 1 von 50 Firmen.
Betrachtet man die Verteilung dieser Firmen über die Unternehmensgröße lässt sich ein potenzieller Aspekt bereits erahnen. Gerade die kleineren Unternehmen haben mit den neuen Auflagen zu kämpfen. So beträgt der Anteil der Kleinstunternehmen an der Gesamtmenge unseren Schätzungen zufolge ca. 69 %. Bei den Firmen mit DSGVO Verweisen schrumpft dieser auf 61 %. Großunternehmen sind dagegen mit 3 % fast doppelt häufig wie in der Gesamtmenge vertreten. Die nachfolgende Graphik stellt die Größenverteilung von Firmen in der Grundgesamtheit (links) der geschätzten Verteilung von Firmen mit aktualisierten Datenschutzerklärung (rechts) gegenüber.
Gesamtverteilung nach Unternehmensgröße (links) und DSGVO Update nach Unternehmensgröße (rechts)
Der potenzielle Zusammenhang zwischen Firmengröße und Datenschutzupdate, legt nahe, dass auch bestimmte Branchen und Geschäftsmodelle damit stärker assoziiert werden könnten. Die untere Graphik zeigt Branchen die überproportional häufig bei den Treffern vertreten sind (Top 20 gemäß der Reihenfolge; WZ 2008) sowie deren absoluten Trefferzahl.
Anzahl der Firmen mit DSGVO aktualisierter Datenschutzerklärung nach Branchen.
Am stärksten überrepräsentiert ist z.B. die IT-Branche (J62). Auf diese entfällt mit 2.732 Treffern auch absolut der Löwenanteil der Firmen mit aktualisierter Datenschutzerklärung. Weitere Branchen mit daten- und kommunikationsintensiven Geschäftsmodellen dominieren die Liste, z.B. IT-Dienstleister (J63), der Handelssektor (G46, G47), Rechtsanwälte (M69), Finanzdienstleister (K64) und Consultingfirmen (M70). Wenn Firmen also ihren Datenschutz aktualisiert haben, dann meist wahrscheinlich nur, weil extrem viele Daten auf Grundlage ihres Geschäftsmodells anfallen. Etwas unerwartet finden sich z.B. das Handwerk (F43), die Elektrotechnik (C26) und die Metallherstellung (C25), sowie der Bildungssektor (P85) darin wieder.
Exemplarische Treffer zu Firmen mit aktualisierter Datenschutzerklärung aus einer stark vereinfachten Analyse lassen sich direkt auf unserer Plattform Companies and Markets einsehen:
Anhand der Listen mit Beispielfirmen lässt sich etwa schnell erkennen, dass Firmen aus dem Bildungssektor oft Fortbildungsmaßnahmen im Bereich DSGVO anbieten und deswegen diesem Thema zugeordnet werden.
Unsere kleine Analyse zur Ermittlung von Firmen, welche sich bereits mit der DSGVO auseinandergesetzt haben, beruht auf probabilistischen Verfahren und ist damit nicht zwingend repräsentativ. Sie erfasst Firmen, die lediglich mit hoher Wahrscheinlichkeit ihre Hausaufgaben bezüglich der Datenschutz-Grundverordnung bereits erledigt haben.
Zudem kann sie weiter verfeinert werden. Wie das Beispiel mit der Anbietern von Fortbildungen im Bereich DSGVO zeigt, z.B. durch den Ausschluss bestimmter Branchen aus der Analyse. Schließlich stellt sie nicht zwingend fest, dass bestehende Datenschutz-Policies bei Firmen, welche nicht in der Treffermenge lagen, nicht bereits professionell ausgestaltet sind und womöglich nur formell angepasst werden müssen. Die Effekte dieser Einschränkungen können nach unserer Einschätzung nicht die grundlegenden Erkenntnisse der Auswertung in Frage stellen.
Nur ein Bruchteil der Firmen in Deutschland ist wenige Wochen vor Ablauf der Umsetzungsfrist final auf die Datenschutz-Grundverordnung vorbereitet. Es gibt Hinweise, dass es gerade Kleinstunternehmen schwieriger fällt, die Umsetzung zu gewährleisten. Wenn, dann tendieren eher Firmen mit besonders datenintensiven und kommunikationslastigen Geschäftsmodellen dazu, die neuen Datenschutzbestimmungen umzusetzen. Fragt sich, welche Geschäftsmodelle im Zeitalter der Digitalisierung, es sich noch leisten können, nicht im angemessenen Umfang mit Daten zu arbeiten.
Assigning industry labels to companies is a manual, costly, slow and error prone process conducted by data providers. In order to solve this problem we developed a fully automated machine learning based industry classification that assigns WZ-2008 labels to companies in no time. Our classifier solely relies on the company purposes, which we extracted from the German company register. The classifier is composed of a natural language processing step and a bag-of-words based elastic-net classifier. This classifier enables us to predict the industry of a company in real-time, rises our data coverage by 30 %, and lowers the costs of the data acquisition to a fraction compared to conventional methods.
Motivation
The state-of-the-art for enriching and enhancing data is to hire click-workers and let them extract information from unstructured data sources. This manual labeling process is slow, costly and error prone due to low experience and skill-level of click-workers. At Implisense we developed a natural language processing driven machine learning model in order to leverage those shortcomings and enhance the quality of our datapoints. This automated system lets us classify newly founded companies in no-time and at zero marginal costs.
We have been working on a machine-learning based industry-classifier specifically designed for small companies and startups. Our classifier’s main ingredient is the company purpose, which every company is legally obliged to submit to the German company register (see example).
(a) die Herstellung und der Vertrieb von Verpackungen, Verpackungsmaterialien und Behältern aller Art, insbesondere Intermediate Bulk Containern (IBC), und sonstiger Erzeugnisse aus Kunststoff und anderen synthetischen Materialien, aus Metall, Papier und Verbundstoffen insbesondere für die Industrie, (b) die Entwicklung aller hiermit zusammenhängenden Verfahren, insbesondere unter der eingetragenen Marke XXX, (c) die Beratung in Bezug auf die aufgeführten Tätigkeiten sowie (d) die Erbringung von Dienstleistungen und die Vergabe von Lizenzen oder sonstigen Rechten an Beteiligungsgesellschaften und ähnliche Unternehmen sowie für Auftraggeber aller Art einschließlich aller sonstigen in diesem Zusammenhang anfallenden Geschäfte.
(a) the manufacture and distribution of packaging, packaging materials and containers of all kinds, in particular Intermediate Bulk Containers (IBCs), and other articles made of plastics and other synthetic materials, metal, paper and composites, in particular for industry, (b) the development of all related procedures, in particular under the registered trade mark XXX, (c) advice in relation to the listed activities and (d) the provision of services and the granting of licences or other rights to affiliated companies and similar companies as well as for clients of all including all other transactions arising in this context.
As a classification system we use the WZ-2008 schema, which incorporates the European NACE-standard. We trained a machine learning model on a dataset of roughly 650.000 company-purposes and their associated industry labels (as the target variable). From a machine learning perspective the problem can be referred to as a hierarchical, multi-label classification problem. There are 88 fundamental categories, which do split up in a tree-like manner into specific economic branches. Each company can be labeled with up to 3 industry labels.
Natural Language Processing Approach
We experimented with different types of classifiers and concluded that a bag-of-words based logistic regression classifier best meets the problem requirements. Random forest classifiers are not suited due to the high dimensionality and sparsity of the one-hot encoded text-data. Nonlinear classifiers, such as neural networks, don’t give much of an improvement due the high dimensionality of the data. A classifier based on “bag-of-words” focuses on word occurrences but ignores the order in which they appear in the text. Features are extracted from single words and then “thrown into a bag”. This bag refers to an unordered set of features. The following processing steps make up the feature-extracting pipeline, which transforms the textual data into a form that is processable by the classifier.
tokenization (splitting up the text into single words, i.e. tokens)
compound-word-composing
compound-word-splitting
stemming
stop-word-removal
tf-idf-calculation
The table depicts examples for some of our feature-extraction steps. To enhance the classifiers generalization abilities we use a “compound word splitter” as a special treatment for german compound. Compound words that were torn apart by enumerations are reassembled by our “compound word composer”.
Method
Examples
compound word composing
Regie – sowie Film-, Fernseh- und Multimedia- und Videoproduktionen -> Multimediaproduktionen Fernsehproduktionen Filmproduktionen Regieproduktionen Beton-sowie Stahlbetonbauertätigkeit -> Betonbauertätigkeit
Demontagearbeiten -> demontagearbeit Gebäude -> gebaud Erbringung -> erbring
The following visualization shows a raw text (on the left) and it’s corresponding bag-of-words representation (on the right):
Die Verwertung von Urheberrechten, das Ausarbeiten von Ideen für Drehbücher, die Übernahme von Regie- sowie Film-, Fernseh- und Video- und Multimediaproduktionen und alle damit verwandten Geschäfte.
verwert urheberrecht , ausarbeit ide fur drehbuch , ubernahm regi – sowi film – , fernseh – video – multimediaproduktion all damit verwandt geschaft . videoproduktion . fernsehproduktion . filmproduktion . regieproduktion multimedia produktion
The classifier is trained to assign weights to each feature and thereby learn to categorize text. In the following visualization the learned feature-weightings are encoded in font-size. Depicted are the features regarding the classification of the WZ2008 label J62 (information technology services).
Machine Learning Classifier
Without further precautions machine learning models often tend to “over-fit” the training set. This effect occurs often if the data’s dimensionality is not significantly smaller than the size of the training set. From a mathematical perspective training a machine learning model means minimizing some sort of error function (i.e., the sum of misclassifications). Adding a regularization term, for example the sum the absolute values of the model’s learnable parameters (l1-norm), leads to a feature-selecting behavior of the linear classifier.
In contrast to the naive Bayes classifier the l1-regularized logistic regression classifier inherently incorporates a feature selection and can thus handle features of similar information with respect to the label of interest. The naive assumption of conditionally independent features does not hold for text-classification problems due to the interchangeability of synonymous words or the co-occurrence of inherently related terms.
Results and Conclusions
We trained our machine learning models as one-vs-all classifiers with respect to a manually labeled target variable. We experienced a strong variation of classification performances for different industry labels. The histogram below depicts the F-scores over the 88 two-digit industry labels.
The classifier’s capability to predict meaningful industry-classes is strongly dependent on the heterogeneity of the data it was trained on. Depending on the vocabulary and wording that is used to describe a company’s purpose the categorization of certain industries is more demanding than of others. Another source of uncertainty is human inter-raterdisagreements, which we believe vary strongly between the different classes. For industries like M69 (legal and accounting activities) or K64 (financial services) we reach a comparatively good F1-score of 82%, while a sector like S96 (provision of miscellaneous predominantly personal services) only reaches an f1-score of 27%. The table below compares classification performances of the best and most challenging industry sectors:
F1-Score
Precision
Recall
Support
M69
0.82
0.86
0.78
2441
K64
0.82
0.77
0.87
40521
L68
0.81
0.80
0.83
23253
…
C26
0.35
0.31
0.39
2100
N82
0.28
0.29
0.28
9020
S96
0.27
0.24
0.31
11788
In our productive setting we tuned the models performance towards a high precision (at the cost of a lower recall). This way we don’t have to completely abandon predictions for challenging sectors like S96. Future work lies in extending our NLP-preprocessing pipeline by use of dependency-parse-tags and/or use of word-embeddings obtained from pretrained models as well as deploying methods from the field of deep learning.
Am 26.11.2013 wird Hannes Korte auf dem Kongress BIG DATA & DATA SCIENCE referieren.
Gemeinsam mit Christian Thurau, CTO von GameAnalytics.com wird Hannes Korte anhand von Beispielen zeigen, welche Einsichten durch die Anwendung maschineller Lernverfahren auf Webdaten möglich sind.
Im Detail sind folgende Inhalte geplant:
Grundlagen des Maschinellen Lernens
Anwendungsbeispiele zu Clustering und Prediction
Natural Language Processing für die Sales Intelligence
Gerade für Personen mit technischer Affinität und einem Wunsch nach Praxisbeispielen moderner Analyseansätze auf Big Data ist der Vortrag am 26.11.2013 in Köln zu empfehlen.
