Opdracht omschrijving

Robotica, Artificial Intelligence en large language models (LLM) een belangrijke rol in de ontwikkeling van software.

Large Language Model

Een Large Language Model (LLM) is een computerprogramma dat is getraind op grote hoeveelheden tekst en kan worden gebruikt voor verschillende taken, zoals tekstgeneratie, vertaling en samenvatting. Voorbeelden van LLM’s zijn OpenAI’s GPT-4o en Google’s Gemini.

Tot nu toe kan je met een LLM voornamelijk “chatten”. Door een chatgesprek te beginnen met een LLM Chatbot, kan je vragen stellen en antwoorden krijgen. In deze opdracht ga je als eerstejaars student Technische Informatica een manier ontwerpen om mensen via een robot met een LLM (of ander generatief model) te laten communiceren.

Gebruik een AI als brein en sensoren als zintuig.

Context, Doel en doelgroep

Je gaat je robot inzetten als “activiteitenbegeleider”. Je robot begeleid een activiteit waaraan één of meerdere mensen deel kunnen nemen. De robot kan bijvoorbeeld de mensen helpen met de activiteit, uitleggen hoe het werkt, vragen beantwoorden of een score bijhouden. Je team krijgt één doelgroep toegewezen bij Buurtcampus Nieuw-West of Buurtcampus Oost.

de Buurtcampus Amsterdam

De Buurtcampus is een samenwerkingsverband tussen de Hogeschool van Amsterdam (HvA) en de Openbare Bibliotheek Amsterdam (OBA), met locaties in de stadsdelen Nieuw-West, Oost en Zuidoost. Het doel is om studenten, docenten en onderzoekers te verbinden met buurtbewoners en lokale organisaties om gezamenlijk actuele uitdagingen in de wijk aan te pakken. De Buurtcampus organiseert diverse projecten en activiteiten gericht op thema’s zoals duurzaamheid, inclusiviteit, geletterdheid, vitaliteit en gelijke kansen. Deze initiatieven variëren van korte interventies tot langdurige stageprojecten, waarbij de betrokkenheid van de gemeenschap centraal staat.

Buurtcampus Nieuw-West: Basisschool kinderen in de bonusklas

Bonusklas?

De Bonusklas is een naschoolse activiteit voor voor kinderen uit groep 3 t/m 6 van het basisonderwijs uit Slotermeer en Geuzenveld. Belangrijke pijlers zijn het vergroten van leerplezier, woordenschat, sociaal-emotionele en schoolse vaardigheden en het stimuleren van talentontwikkeling.

Je robot begeleidt een activiteit die basisschool kinderen kunnen doen om hun taal- of rekenvaardigheden te verbeteren. Je gaat op bezoek bij de Bonusklas, observeert wat er gebeurt en ontwerpt een activiteit die de kinderen kunnen doen met de robot.

• Visie Bonusklas Buurtcampus Nieuw-West: bonusklas-buurtcampus-west

Buurtcampus Oost: Ouderen bij Cordaan

Je robot begeleid een activiteit die is bedoeld als laagdrempelige en plezierige dagbesteding, waarin contact, prikkeling en interactie centraal staan. Je gaat op bezoek bij de buurtcampus, maakt kennis met de doelgroep en ontwerpt een activiteit die ouderen kunnen doen met de robot.

• Opdracht briefing Buurtcampus Oost: buurtcampus-oost

Technische requirements

• Je werkt met een NAO of een Pepper robot.
• Je werkt met een LLM (bijvoorbeeld ChatGPT) of een ander generatief model.
• Een ESP32 verzamelt gegevens over de omgeving die de robot kan gebruiken om de activiteit begeleiden.
• Je mag een raspberry pi gebruiken om de onderdelen met elkaar te verbinden.

Robots

Binnen HBO-ICT hebben we 2 robotsystemen beschikbaar waar je uit kunt kiezen, afhankelijk van de toepassing die jullie gaan ontwikkelen kies je een bepaalde robot:

• NAO: Een humanoïde robot die kan bewegen, praten en interactie aangaan met mensen. De NAO kan verschillende poses aannemen maar kan zich niet zelfstandig verplaatsen.
• Pepper: Een sociale robot die ontworpen is om te communiceren met mensen en hen te ondersteunen in hun dagelijkse leven. De Pepper kan zich zelfstandig verplaatsen en heeft een touchscreen.

Producten

Te leveren producten

• Werkend prototype van de robot.
• Technisch rapport waarin de werking en implementatie worden beschreven.
• Presentatie/demo waarin je het eindresultaat laat zien en reflecteert op het ontwikkelproces.
• Gebruikershandleiding voor de gekozen doelgroep.

Leeruitkomsten

In deze opdracht werk je aan de leeruitkomsten voor semester 2.

• Je werkt in een team van 3-4 studenten.
• Er zijn drie sprints van 3 weken.

Voor deze opdracht kan je de volgende producten opleveren

Software

• Een webapplicatie waarmee je kan zien wat de status is van het spel, de robot en de sensoren.
• Een API die door de webapplicatie en de robot wordt gebruikt, gehost op jullie eigen server.
• Een database die de API gebruikt, gehost op jullie eigen server.
• Een documentatie van de API, de database en de webapplicatie.
• Code voor de ESP32 die de gegevens verzamelt en doorstuurt naar de API.

Gebruikersinteractie

• Documentatie van de TMC cyclus per sprint.
• Gebruikersonderzoek
• Stakeholder analyse
• Product testen
• Eigen userstories aan de hand van inzichten uit interviews, testen en andere UX onderzoeksmethoden.

Infrastructuur

• Een ingerichte raspberry pi waarop jullie systeem draait.
• Een logisch ontwerp van de infrastructuur met een goede verantwoording van de keuzes die jullie maken.
• Documentatie van de infrastructuur die jullie hebben opgezet met daarin:
• Een schematisch overzicht (diagram) van de infrastructuur.
• Een beschrijving van de infrastructuur (communicatieprotocollen, componenten, etc.).
• Een verantwoording van de keuze voor de infrastructuur.

Hardware

• Een werkend embedded systeem dat sensordata naar jullie robot stuurt.
• Een onderzoek naar de hardware die jullie nodig hebben voor jullie systeem.
• Een ontwerpdocument voor de hardware, inclusief:
• Een beschrijving van de hardwarecomponenten.
• Een beschrijving van de communicatieprotocollen.
• Minstens één bedradingsschema.