KI-Nutzung an der Universität zu Köln

Das Thema (generative) Künstliche Intelligenz (KI) betrifft alle Leistungsdimensionen und Bereiche der Universität zu Köln. Dies umfasst z. B. die KI-Forschung, die Nutzung von KI-Werkzeugen in der Forschung, die Nutzung von KI im Kontext des Lehrens und Lernens inklusive der Kompetenzvermittlung sowie vielfältige Einsatzzwecke in der Verwaltung und im Hochschulmanagement.

Aus diesen unterschiedlichen Bereichen ergeben sich eine Vielzahl an Use-Cases und entsprechenden (spezialisierten) Bedarfen. Im Folgenden sind aktuelle und geplante übergreifende Angebote beschrieben.

Hintergründe – Eigene und kommerzielle Angebote sowie Bereitstellungsmodi

Wir streben aus verschiedenen Gründen, z. B. Finanzierung, Compliance, Sicherheit und Datensouveränität, ein gemischtes Modell aus "eigenen" und kommerziellen Angeboten an. Konkret stellt sich das z.B. in der angestrebten Bereitstellung von sowohl offenen Modellen (vgl. Säulen 1 und 2) sowie kommerziellen Modellen (vgl. Säulen 3 und 4).

Darüber hinaus werden unterschiedliche Modi der Bereitstellung angestrebt: Der Zugang auf bestimmten KI-Anwendungen in der Cloud, die Bereitstellung von Schnittstellen (APIs), z.B. zur Nutzung eigener Software oder in der Forschung, sowie die Nutzung von Modellen auf eigener, z.B. auch lokaler, Hardware.

Übersicht über verfügbare und geplante KI-Angebote

Um die vielfältigen und unterschiedlichen Bedarfe der Universität zu Köln im Bereich der KI-Werkzeuge abzubilden, setzen wir auf eine Vielfalt von Werkzeugen, mit dem Ziel, ein umfassendes KI-Angebot aufzubauen, welches möglichst viele Use-Cases adressiert. Hierzu wurde ein Säulenmodell entwickelt, um möglichst viele Bedarfe zielgruppenorientiert und mit effizientem Einsatz personeller, technischer und monetärer Ressourcen abzudecken. Diese Säulen werden im Folgenden beschrieben.

Säule 1: KI-Chatbot der GWDG / Academic Cloud

Die GWDG (Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen) stellt über den Dienst “Academic Cloud” einen KI-Chatbot, welcher auf unterschiedliche Modelle zurückgreifen kann, zur Verfügung. Alle Inhaber eines Uni-Accounts – Personal und Studierende – haben Zugang zum bereitgestellten Chatbot. Sollten Sie bereits über eine "Academic ID" verfügen, können Sie diese für den Login verwenden, ansonsten wählen Sie bitte die "Föderierte Anmeldung" und wählen die Universität zu Köln als Heimateinrichtigung:

https://chat-ai.academiccloud.de/

Eine Anleitung sowie weitere Informationen, auch zum Thema Datenschutz und -verarbeitung, finden Sie unter:

https://gwdg.de/services/application-services/ai-services/

Zur Auswahl stehen diverse Open Source Modelle wie LLaMA, Mistral oder Qwen. Außerdem ist die individuelle Parametrisierung der Anfrage möglich um insbesondere auszubalancieren, wieviel Freiheiten dem Chatbot bei den Antworten gewährt werden soll.

Zielgruppe(n): Beschäftigte und Studierende

Aktueller Status: Verfügbar.

Säule 2: LLMs auf dem High Performance Computer / Open Source-KI.nrw

In Kooperation mit der Ruhr-Universität Bochum wurden im Kontext des Open Source-KI.nrw Projekt (OSKI.nrw) einem vom MKW (Ministerium für Kultur und Wissenschaft NRW) geförderten Projekt verschiedene hochperformante Grafikkarten der Firma NVidia für Training und Interferenz beschafft und in unserem neuen High Performance Computers "RAMSES" integriert.

Ziel ist die Bereitstellung allgemein verfügbarer und mit eigenen Inhalten erweiterten (via Retrieval Augmented Generation) Large Language Models (LLM) unter Verwendung eines eigenen Frontends, und damit die professionelle Nutzung performanter KI-Modelle auf lokaler Hardware in Forschung und Lehre. Hierfür werden nicht nur die monetären Ressourcen des MKW sowie durch RAMSES verfügbare Technologie eingesetzt, das RRZK/ITCC hat hierfür auch explizit Personal mit der Erstellung des Angebots beauftragt. Erste Betatests werden für Januar 2025 erwartet. Die Zugangsmodalitäten sowie die Ressourcenverteilung sind noch in Planung und werden nach der Bereitstellung ggf. laufend evaluiert und angepasst.

Zielgruppe(n): Beschäftigte und Studierende in Forschung und Lehre

Aktueller Status: Im Aufbau, Geplante Verfügbarkeit Q1/2025.

Säule 3: Zugänge für kommerzielle Modelle

Parallel zu den bislang genannten Aktivitäten erwarten wir mittelfristig, dass über Initiativen wie OCRE (Open Clouds for Research Environments) und/oder das Projekt KI:Connect.nrw vergünstigte API-Zugänge für kommerzielle KI-Modelle wie OpenAI/ChatGPT bereitgestellt werden. Das RRZK/ITCC beobachtet diese Entwicklungen genau und meldet entsprechende Bedarfe an. Außerdem sind Rahmenbedingungen für die Nutzung, vor allem in Bezug auf Datenschutz sowie -klassifizierung, bereits in der Zwischenzeit festzulegen.

Die Rahmenverträge für die Nutzung der OCRE-Cloud-Dienste stehen ab Februar 2025 zur Verfügung. Auf deren Basis müssen dann individuelle Vereinbarungen getroffen werden. Hierbei ist auch die Verteilung der Kosten bzw. die entsprechenden Abrechnungsmodalitäten zu klären.

Zielgruppe(n): Beschäftigte

Aktueller Status: Rahmenverträge sind geschlossen. Zielsetzung sind Verträge für Azure OpenAI und gegebenfalls weitere Verträge.

Geplante Verfügbarkeit: Q1 bzw. Q2 2025

Säule 4: KI in der zentralen Universitätsverwaltung

Das RRZK/ITCC hat kurzfristig ein Kontingent an Tokens für ein KI-System erworben, welches vollständig verschlüsselt auf öffentlichen Cloud-Anbietern realisiert ist. Diese Verschlüsselung ist Grundvoraussetzung für die Nutzung öffentlicher Clouds für sensible Daten. Dieses System wird gezielt der zentralen Universitätsverwaltung eingesetzt, weil wir zunehmend auch im Verwaltungsbereich auf Cloud-Anwendungen setzen wollen und die Einbindung von KI-Funktionen unter Beachtung von Datenschutzfragen für personenbezogene Daten eine besondere Herausforderung darstellt.

Prototypisch wird dieser Dienst zunächst in Form eines einfachen Frontends zur Verfügung gestellt. Zielsetzung ist hier ein Sicherheits- und Datenschutzniveau zu erreichen, um auch mit Texten wie Tätigkeitsbeschreibungen und weiteren internen Dokumenten arbeiten zu können.

Zielgruppe(n): Beschäftigte und Anwendungen in der zentralen Universitätsverwaltung

Aktueller Status: Im Aufbau, protoypische Verfügbarkeit im Januar, Integration in Anwendungen Q4/2025

Säule 5: Einstiegsmodell für erste Experimente

Diese Säule soll individuellen KI-affinen Interessent:innen sowie Forschungsgruppen und Instituten den niedrigschwelligen Einstieg in die Entwicklung von KI-(gestützten-)Anwendungen und das "einfach mal ausprobieren" ermöglichen. Das Angebot wird vorhandene Ressourcen nutzen und hierbei bewusst keine besonders hohe Performance bieten, sondern den Fokus auf allgemeine Verfügbarkeit und Einsteigerfreundlichkeit legen.

Zielgruppe(n): KI-Entwickler:innen, Forschungsgruppen

Aktueller Status: In Vorbereitung.

Geplante Verfügbarkeit Q2/2025

Säule 6: KI auf eigenen Endgeräten

Durch die zunehmende Verfügbarkeit von kleineren, aber dennoch leistungsfähigen KI-Modellen ist es möglich geworden, diese Modelle auch auf eigenen (leistungsstarken) Endgeräten, z. B. Laptops, zu betreiben. Dieser Ansatz sorgt dafür, dass keine Daten das Endgerät verlassen und ein extrem hohes Level an Datenschutz, Sicherheit und Kontrolle erreicht werden kann.

Beispielsweise ist es möglich, mit Programmen wie LM Studio, Jan oder GPT4All Modelle auf dem eigenen Endgerät in einer bekannten Oberfläche zu nutzen. Die Performanz der Modelle hängt dabei jedoch stark von der Größe des Modells sowie der verfügbaren Hardware, z. B. der Verfügbarkeit einer Grafikkarte im Laptop, ab. Die "Bereitstellung" bzw. das Angebot beschränkt sich hier in erster Linie auf die Bereitstellung einer Anleitung bzw. einer kurzen Handreichung zur Nutzung von KI-Modellen auf eigenen Endgeräten.