Kinder- und Jugendmedienschutz und Künstliche Intelligenz - Herausforderung für den Jugendmedienschutz-Staatsvertrag (JMStV)

Stand und Reformüberlegungen unter besonderer Beachtung generativer KI und unter Berücksichtigung der KI-Verordnung der EU

Jörg Ukrow

3. Dezember 2024
1. Auflage
Umfang 320 Seiten, 15,5 X 22,0 cm
ISBN Softcover 978-3-910513-21-1, Preis 31,00 €
ISBN eBook (PDF) 978-3-910513-22-8, CC BY-NC-ND

Generative KI erobert immer schneller immer mehr Lebensbereiche. Vielfach mit positiven Effekten, mitunter auch mit negativen. Dies gilt insbesondere auch für den Kinder- und Jugendmedienschutz. Aktuell besteht die Gefahr, dass KI-generierte Inhalte, Bilder oder Videos zu einer Desorientierung von Minderjährigen beitragen und die Polarisierung der Gesellschaft in einer für deren Anspruch auf ein demokratisches Miteinander bedenklichen Weise befördern. Daher ist es wichtig, dass diese Risiken rechtzeitig durch Gesetzesänderungen adressiert werden. Dieser Band, der auf einem Gutachten des EMR für die Kommission für Jugendmedienschutz (KJM) beruht, zeigt Entwicklungsperspektiven auf.

Eine Studie aufbauend auf einem Gutachten im Auftrag der Kommission für Jugendmedienschutz (KJM)

Buch bestellen


Als eBook downloaden

Linkliste

In dem Buch sind im Literaturverzeichnis Internetquellen genannt, die an dieser Stelle mit dem Stand des Redaktionsschlusses aufgelistet sind. Das soll dem Leser den Aufruf erleichtern.

 
Abrassart, Christophe, u.a., Montreal Declaration for a Responsible Development of Artificial Intelligence, 2018 (abrufbar unter Verweis https://dcfa4bd-f73a-4de5-94d8-c010ee777609.filesusr.com/ugd/ebc3a3_506ea08298cd4f8196635545a16b071d.pdf)
Altman, Sam/Brockman, Greg/Sutskever, Ilya, Governance of superintelligence, 22. Mai 2023 (abrufbar unter Verweis https://openai.com/blog/governance-of-superintelligence)
Bitkom e.V. - Bundesverband Informationswirtschaft, Telekommunikation und neue Medien e.V, Digitale Souveränität: Anforderungen an Technologie- und Kompetenzfelder mit Schlüsselfunktion, Berlin 2019 (abrufbar unter Verweis https://www.bitkom.org/sites/default/files/2020-01/200116_stellungnahme_digitale-souveranitat.pdf)
Bundesprüfstelle für jugendgefährdende Medien, Gefährdungsatlas. Digitales Aufwachsen. Vom Kind aus denken. Zukunftssicher handeln, Bonn 2019 (abrufbar unter Verweis https://www.bzkj.de/resource/blob/176416/2c81e8af0ea7cff94d1b688f360ba1d2/gefaehrdungsatlas-data.pdf)
Bundeszentrale für Kinder- und Jugendmedienschutz, Gefährdungsatlas. Digitales Aufwachsen. Vom Kind aus denken. Zukunftssicher handeln, 2. Aufl. Bonn 2022 (abrufbar unter Verweis https://www.bzkj.de/resource/blob/197826/5e88ec66e545bcb196b7bf81fc6dd9e3/2-auflage-gefaehrdungsatlas-data.pdf)
Byrne, Jasmina/Day, Emma/Raftree, Linda, The Case for Better Governance of Children’s Data: A Manifesto, 2021 (abrufbar unter Verweis https://www.unicef.org/globalinsight/media/1741/file/UNICEF%20Global%20Insight%20Data%20Governance%20Manifesto.pdf)
Canadian Parliament, An Act to enact the Consumer Privacy Protection Act, the Personal Information and Data Protection Tribunal Act and the Artificial Intelligence and Data Act and to make consequential and related amendments to other Acts, 2022 (abrufbar über Verweis https://www.parl.ca/legisinfo/en/bill/44-1/c-27)
Charisi, Vicky/Chaudron, Stéphane/Di Gioia, R., Vuorikari, Rosanna/Escobar Planas, Marina/Sanchez, Ignacio/Gomez, Emilia, Artificial Intelligence and the Rights of the Child: Towards an Integrated Agenda for Research and Policy, Luxembourg 2022 (abrufbar über Verweis https://op.europa.eu/en/publication-detail/-/publication/b7d0196a-eb8c-11ec-a534-01aa75ed71a1/language-en)
Cole, Mark D., AI Regulation and Governance on a Global Scale: An Overview of International, Regional and National Instruments, AI Review 2024, 126 (abrufbar unter Verweis https://aire.lexxion.eu/data/article/19406/pdf/aire_2024_01-017.pdf)
Cole, Mark D., Die Neuregelung des Artikel 7b Richtlinie 2010/13/EU (AVMD-RL). Spielraum und zu beachtende Vorgaben bei der mitgliedstaatlichen Umsetzung der Änderungsrichtlinie (EU) 2018/1808, Saarbrücken 2019, S. 34 f. (abrufbar unter Verweis https://emr-sb.de/wp-content/uploads/2019/12/emr-gutachten_neuregelung-des-artikel-7b-avmd_11.2019.pdf)
Cole, Mark D./Ukrow, Jörg, Der EU Digital Services Act und verbleibende nationale (Gesetzgebungs-) Spielräume, Saarbrücken 2023, S. 1, 14 ff. (abrufbar unter Verweis https://freiheitsrechte.org/uploads/documents/Demokratie/Marie-Munk-Initiative/DSA_Gutachten_Cole_Ukrow.pdf)
Datenethikkommission der Bundesregierung, Gutachten der Datenethikkommission der Bundesregierung, Berlin 2019 (abrufbar unter Verweis https://www.bmi.bund.de/SharedDocs/downloads/DE/publikationen/themen/it-digitalpolitik/gutachten-datenethikkommission.pdf?__blob=publicationFile&v=6)
Di Fabio, Udo, Verfassungsrechtliche Vorgaben für die Neuordnung der Notfallrettung. Rechtsgutachten erstellt im Auftrag der Björn Steiger Stiftung, Bonn 2024 (abrufbar über Verweis https://nextcloud.steiger-stiftung.de/index.php/s/8EdeYJ4dRA7jwpy)
Europäische Kommission, Fragen und Antworten: Richtlinie über KI-Haftung, 28. September 2022 (abrufbar unter Verweis https://ec.europa.eu/commission/presscorner/detail/de/qanda_22_5793)
Freedom House, Freedom on the Net 2023. The Repressive Power of Artificial Intelligence, Washington D.C. 2023 (abrufbar unter Verweis https://freedomhouse.org/sites/default/files/2023-10/Freedom-on-the-net-2023-Digital-Booklet.pdf)
Gössl, Susanne Lilian/Yakar, Selen, Geschlechterneutrale KI. Eine Handreichung, Kiel 2023 (abrufbar unter Verweis https://www.schleswig-holstein.de/DE/fachinhalte/G/gleichstellung/Downloads/handreichung_geschlechterneutrale_ki_lang.pdf?__blob=publicationFile&v=1)
G7, G7 Leaders’ Statement on the Hiroshima AI Process, October 30, 2023 (abrufbar unter Verweis https://www.mofa.go.jp/files/100573466.pdf)
G7, Hiroshima Process International Code of Conduct for Organizations Developing Advanced AI Systems, October 30, 2023 (abrufbar unter Verweis https://www.mofa.go.jp/files/100573473.pdf)
G7, Hiroshima Process International Guiding Principles for Organizations Developing Advanced AI system, October 30, 2023 (abrufbar unter Verweis https://www.mofa.go.jp/files/100573471.pdf)
Gerards, Janneke/Xenidis, Raphaele, Algorithmic discrimination in Europe: Challenges and opportunities for gender equality and non-discrimination law, Luxemburg 2021 (abrufbar unter Verweis https://www.pure.ed.ac.uk/ws/portalfiles/portal/235501180/EELN_report_algorithmic_discrimination.en.pdf)
Haase, Jennifer, Generative KI und Kreativität: "Es geht nicht darum, Menschen zu ersetzen", 17.08.2023 (abrufbar unter Verweis https://www.weizenbaum-institut.de/news/ki-kreativitaet-jennifer-haase/)
Hacker, Philipp/Engel, Andreas/Maurer, Marco, Regulating ChatGPT and other Large Generative AI Models, Working Paper (12.Mai 2023 – abrufbar unter Verweis https://arxiv.org/pdf/2302.02337.pdf)
Hu, Krystal, ChatGPT sets record for fastest-growing user base (2023) (abrufbar unter Verweis https://www.reuters.com/technology/chatgpt-sets-record-fastest-growing-user-base-analyst-note-2023-02-01/)
Japanese Government, Social Principles of Human-Centric AI (2019) (abrufbar unter Verweis https://www.cas.go.jp/jp/seisaku/jinkouchinou/pdf/humancentricai.pdf)
jugendschutz.net, Perspektiven des technischen Jugendschutzes. Aktuelle Herausforderungen und zukunftsfähige Konzepte, Mainz 2016 (abrufbar unter Verweis https://www.kjm-online.de/fileadmin/user_upload/KJM/Publikationen/Studien_Gutachten/Perspektiven-technischer-Jugendschutz.pdf)
Kühne, Steffen, Medieninhalte mit KI erzeugen, 27.4.2023 (abrufbar unter Verweis https://www.blm.de/files/pdf2/2023-04-26-medieninhalte-mit-ki-erzeugen-blm.pdf)
Kommission für Jugendmedienschutz (KJM), KJM bewertet Altersverifikationssysteme mit biometrischer Alterskontrolle positiv. Verifizierung ohne Ausweispapiere, mittels künstlicher Intelligenz, Pressemitteilung 11/2022 vom 24.05.2022 (abrufbar unter Verweis https://www.kjm-online.de/service/pressemitteilungen/meldung?tx_news_pi1%5Bnews%5D=5035&cHash=d8a1a1aa098cb7a2ba2ba7e145e85116)
Kommission für Jugendmedienschutz (KJM), Kriterien für die Aufsicht im Rundfunk und in den Telemedien, Berlin 2020 (abrufbar unter Verweis https://www.kjm-kriterien.de/fileadmin/Daten-KjM/2022_02_Kriterien_KJM.pdf)
Kurzweil, Ray, The Law of Accelerating Returns, 7. März 2001 (abrufbar unter Verweis https://www.kurzweilai.net/the-law-of-accelerating-returns)
Liesching, Marc, Demokratiefähigkeit als Entwicklungs- und Erziehungsziel im Jugendschutzrecht, BzKJAKTUELL 2/2023, 18 (abrufbar unter Verweis https://www.bzkj.de/resource/blob/225150/3dcfe6de7521b91fd5782921f103d708/20232-demokratiefaehigkeit-als-entwicklungs-und-erziehungsziel-data.pdf)
Lim, Weng Marc/Gunasekara, Asanka/Pallant,Jessica Leigh/Pallant, Jason Ian/Pechenkina, Ekaterina, Generative AI and the future of education: Ragnarök or reformation? A paradoxical perspective from management educators, The International Journal of Management Education 21 (2023) 100790 (abrufbar unter Verweis https://www.sciencedirect.com/science/article/pii/S1472811723000289)
Lopatka, Reinhold, Die EU und die Mitgliedstaaten: Subsidiarität. Proportionalität. Weniger, aber effizienteres Handeln, Wien 2018 (abrufbar unter Verweis https://www.aies.at/download/2018/AIES-Studie-2018-07.pdf)
OECD, Recommendation of the Council on Artificial Intelligence, 2019 (abrufbar unter Verweis https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449)
OECD, The State of Implementation of the OECD AI Principles Four Years On, 2023 (abrufbar unter Verweis https://www.oecd-ilibrary.org/docserver/835641c9-en.pdf)
Pichai, Sundar, An important next step on our AI journey, 6. Februar 2023 (abrufbar unter Verweis https://blog.google/technology/ai/bard-google-ai-search-updates)
Poltermann, Andreas, The Public and Private Spheres in Times of the Social Media, 2014 ( Verweis https://rs.boell.org/en/2014/05/14/public-and-private-spheres-times-social-media
Ress, Georg, Künstliche Intelligenz (KI) als Herausforderung für das Europarecht und Völkerrecht, Berliner Online-Beiträge zum Europarecht, Nr. 148, 22.05.2023 (abrufbar unter Verweis https://www.jura.fu-berlin.de/forschung/europarecht/bob/berliner_online_beitraege/Paper148-Ress/BOB148_Maschinenbewusstsein-und-Voelkerrecht.pdf)
Schüle, Christian, Digitalisierung und Gesellschaft, 21.09.2021 (abrufbar unter Verweis https://www.deutschlandfunkkultur.de/digitalisierung-und-gesellschaft-dauertransformation-fuehrt-100.html)
Senado do Brazil, Projeto de lei No 2338 de 2023. Dispõe sobre o uso da Inteligência Artificial, 2023 (abrufbar unter Verweis https://legis.senado.leg.br/sdleg-getter/documento?dm=9347593&ts=1698248944489&disposition=inline&_gl=1*p41p47*_ga*MTQxMzQxNzA2MC4xNjk5NTE5NTgy*_ga_CW3ZH25XMK*MTY5OTUxOTU4Mi4xLjAuMTY5OTUxOTU4Mi4wLjAuMA..)
Spiecker gen. Döhmann, Indra/Towfigh, Emanuel V., Automatisch benachteiligt. Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme, Berlin 2023 (abrufbar unter Verweis https://www.antidiskriminierungsstelle.de/SharedDocs/downloads/DE/publikationen/Rechtsgutachten/schutz_vor_diskriminierung_durch_KI.pdf?__blob=publicationFile&v=4)
Stapf, Ingrid/Dreyer, Stephan/Schelenz, Laura/Andresen, Sünje/Heesen, Jessica, Die Stärkung von Kinderrechten durch den Digital Services Act (DSA). Wege zu Best-Practice-Ansätzen, Tübingen u.a. 2023 (abrufbar unter Verweis https://leibniz-hbi.de/uploads/media/default/cms/media/7t9f7w9_SIKID_2023_DSA_Kinderrechte.pdf)
State Council of the People’s Republic of China, Next Generation Artificial Intelligence Development Plan (2017) (abrufbar unter Verweis http://fi.china-embassy.gov.cn/eng/kxjs/201710/P020210628714286134479.pdf)
The Bletchley Declaration by Countries Attending the AI Safety Summit, 1-2 November 2023 (abrufbar unter Verweis https://www.gov.uk/government/publications/ai-safety-summit-2023-the-bletchley-declaration/the-bletchley-declaration-by-countries-attending-the-ai-safety-summit-1-2-november-2023)
Tuchtfeld, Marktplätze, soziale Netzwerke und die BVerfG-Entscheidung zum "III. Weg", 26.05.2019 ( Verweis https://verfassungsblog.de/marktplaetze-soziale-netzwerke-und-die-bverfg-entscheidung-zum-iii-weg/
UK Parliament, Data Protection and Digital Information Bill, 2023 (abrufbar unter Verweis https://publications.parliament.uk/pa/bills/cbill/58-04/0001/230001.pdf)
Ukrow, Jörg, Algorithmen, APIs und Aufsicht. Überlegungen zur organisations- und verfahrensrechtlichen Effektuierung einer positiven Ordnung der Vielfaltssicherung im digitalen Raum, Saarbrücken 2019 (abrufbar unter Verweis https://emr-sb.de/wp-content/uploads/2019/05/Impulse-aus-dem-EMR_MedienStV-Verfahren_1905-01.pdf)
Ukrow, Jörg, Durchsetzung von Medienrecht vor neuen Herausforderungen, Saarbrücken 2022 (abrufbar unter Verweis https://emr-sb.de/wp-content/uploads/2022/03/Durchsetzung-von-Medienrecht-vor-neuen-Herausforderungen.pdf)
Ukrow, Jörg, Sicherung regionaler Vielfalt - Außer Mode? Anmerkungen aus Anlass des Urteils des Europäischen Gerichtshofs vom 3. Februar 2021, Rs. C-555/19, Fussl Modestraße Mayr GmbH ./. SevenOne Media GmbH, ProSiebenSat.1 TV Deutschland GmbH, ProSiebenSat.1 Media SE, Saarbrücken 2021 (abrufbar unter Verweis https://emr-sb.de/wp-content/uploads/2021/02/EMR_Aktuelles-Stichwort-zum-EuGH-Urteil-in-Sachen-Fussl-Modestrasse-Mayr.pdf)
Unabhängige hochrangige Expertengruppe für künstliche Intelligenz, Ethik-Leitlinien für eine vertrauenswürdige KI, 2019 (abrufbar über Verweis digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai
UNESCO, Recommendation on the Ethics of Artificial Intelligence, Adopted on 23 November 2021 (abrufbar unter Verweis https://unesdoc.unesco.org/ark:/48223/pf0000381137)
UNICEF/Ministry for Foreign Affairs of Finland, Policy guidance on AI for children 2.0, 2021, (abrufbar unter Verweis https://www.unicef.org/globalinsight/media/2356/file/UNICEF-Global-Insight-policy-guidance-AI-children-2.0-2021.pdf)
Vogel, Inna/Steinebach, Martin, Technik für den digitalen Jugendschutz: Automatische Erkennung von Sexting und Cybergrooming, Darmstadt 2021 (abrufbar unter Verweis https://www.sit.fraunhofer.de/fileadmin/dokumente/studien_und_technical_reports/FraunhoferSIT-StudieJugendschutz.pdf)
von Lewinski, Kai, Immersiver Journalismus – Virtual Reality als Herausforderung für das Medienrecht, 9.4.2018(CR-online.de Blog) (abrufbar unter Verweis https://www.cr-online.de/blog/2018/04/09/immersiver-journalismus-virtual-reality-als-herausforderung-fuer-das-medienrecht/)
Weerts, Hilde/Xenidis, Raphaële/Tarissan, Fabien/Palmer Olsen, Henrik/Pechenizkiy, Mykola, Algorithmic Unfairness through the Lens of EU Non-Discrimination Law: Or Why the Law is not a Decision Tree, 2023 ACM Conference on Fairness, Accountability, and Transparency (FAccT '23), 805 (abrufbar unter Verweis https://browse.arxiv.org/pdf/2305.13938.pdf)
White House, Blueprint for an AI Bill of Rights. Making Automated Systems Work for the American People (Ocotober 2022) (abrufbar unter Verweis https://www.whitehouse.gov/wp-content/uploads/2022/10/Blueprint-for-an-AI-Bill-of-Rights.pdf
White House, Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence (October 30, 2023) (abrufbar unter Verweis https://www.whitehouse.gov/briefing-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure-and-trustworthy-development-and-use-of-artificial-intelligence/)
Ziesecke, Dennis, Gefahren der VR - Kann die virtuelle Realität dem Menschen schaden?, 27.05.2016 ( Verweis https://www.gamestar.de/artikel/gefahren-der-vr-kann-die-virtuelle-realitaet-dem-menschen-schaden,3273170.html
Zimprich, Stephan, Die EU-KI-Verordnung – Teil 3: Das Hochrisikosystem, 15.11.2021 (abrufbar unter Verweis https://www.fieldfisher.com/de-de/insights/die-eu-ki-verordnung-teil-3)

Rund um das Buch

Dr. Jörg Ukrow, LL.M.Eur.

Jörg Ukrow ist stellvertretender Direktor der Medienanstalt Rheinland-Pfalz und Geschäftsführer der Trägergesell-schaft von jugendschutz.net. Er ist zugleich geschäftsführendes Vorstandsmitglied des EMR. Er studierte Rechtswissenschaften, Politik und Geschichte an der Universität des Saarlandes, wo er zum Dr. jur. promoviert wurde. Von 1989 bis 1992 war er wissenschaftlicher Mitarbeiter am Lehrstuhl für Öffentliches Recht, Völkerrecht und Europarecht und anschließend bis 2003 Leiter des Referats Medien in der Staatskanzlei des Saarlandes. Jörg Ukrow gehört dem juristischen Prüfungsamt des Saarlandes an und war Gründungsmitglied der Redaktion der Zeitschrift für europarechtliche Studien (ZEuS). Er ist Autor von Monographien zum Richterrecht des EuGH und zum Jugendschutzrecht, Mitautor von Monographien zu digitalem Hörfunk, investigativem Journalismus und Fake News, Autor verschiedener Aufsätze zum Verfassungsrecht, Völkerrecht und Europarecht sowie Mitautor verschiedener Kommentare zum EU-Recht und Medienrecht. Jörg Ukrow ist in seiner täglichen Arbeit eng in die Umsetzung der AVMSD (Medienstaatsvertrag sowie Umsetzungsgesetze der zuständigen nationalen Regulierungsbehörden) und die Abstimmung mit seinen Kollegen in Deutschland und anderen EU-Mitgliedstaaten eingebunden.

Die Publikationsreihe EMR/Script des Instituts für Europäisches Medienrecht (EMR) widmet sich in regelmäßiger Folge aktuellen medienrechtlichen und medienpolitischen Themen inklusive der damit verbundenen Rechtsgebiete wie dem Wettbewerbs-, Datenschutz- und Datensicherheitsrecht. Der Schwerpunkt der Publikationsreihe liegt auf der Dokumentation von Studien und Veranstaltungen. Herausgeber sind Prof. Dr. Stephan Ory, Prof. Dr. Mark D. Cole und Dr. Jörg Ukrow, LL.M.Eur.