Infos für Techies

  • 33 Menschen sind die index IT
    • 12 Nationalitäten, 3 Kontinente
    • index-Zugehörigkeit im Durchschnitt: 7,5 Jahre
  • 6 IT-Teams (Netzwerk, Crawler, Anzeigendaten, Machine Learning, CRM, Webseiten)

Unsere Leidenschaft: Anzeigendaten – Europäischer Marktführer für Jobmarktauswertung

  • Analyse von 600 Jobbörsen und 300 Printquellen aus 10 Ländern sowie
    1,8 Millionen Domains von Firmenwebseiten
  • 7 Millionen Stellenanzeigen täglich, davon 200.000 neu
  • 1 allgemeiner und 400 spezialisierte Crawler
  • 500 Prozesse zur Datenanalyse
  • 200 Hosts
  • 30 Datenbankcluster
  • 25 TByte DB Daten
  • 150 TByte Files (Stellenanzeigenkopien)

Herausforderungen

  • Hochverfügbarkeit und Performance der Systeme
  • Verarbeitung und Analyse riesiger Datenmengen
  • Innovationen und Lösungen im Hinblick auf permanentes Wachstum der Systeme, Daten und Prozesse

Tech-Stack

  • Datenbanken
    • PostgreSQL
    • Mysql
    • Oracle
  • Datenanalyse
    • Python
    • Perl
  • KI-Technologien
    • TensorFlow / Keras
    • NLP
    • Transformer
    • openAI
  • Web
    • Lucee, Javascript, JQuery, Ajax
    • Java
    • PHP
    • WordPress
    • B2B Custom Rest APIs
  • Infrastuktur
    • Linux (Ubuntu)
    • Virtualisierung (Proxmox, Docker)
    • Systemüberwachung mit Zabbix und Nagios
    • Vagrant
    • Gitlab
    • Jenkins
    • Mattermost für Kommunikation und Benachrichtigungen