自闭症谱系障碍（ASD）是指以社交互动受损、沟通困难以及行为和兴趣受限和重复为特征的神经发育障碍。一直以来，对于像自闭症等神经发育障碍，人们希望能借助人工智能、数字技术等为病症的评估、监测和治疗提供更多的解决方案。
随着人形机器人技术的日益成熟，机器人在认知障碍领域显示出作为治疗中介工具的巨大潜力。以自闭症为例，自 20 世纪 90 年代以来的科学和医学文献表明，患有自闭症谱系障碍的儿童对机械部件、计算机和机器人有着浓厚的兴趣。
具体来说，具有拟人化特征的人形机器人可以“净化”交互过程中接收到的信息。它们提供可预测且相同的动作、语调中没有明显个性的合成声音，并且具有可以模拟基本“社交和情感”能力的相关软件。这些特征通常可以减少自闭症谱系障碍患者的焦虑并提高他们的感觉接受能力。
例如，机器人 NAO 便是治疗自闭症中常见的机器人之一。有研究表明，机器人 NAO 提供的干预措施有助于提高自闭症儿童的参与度、共同注意力和社交技能。（过往研究如：人形机器人在儿童心理健康评估领域的广阔前景）
近期，意大利Calabria大学的研究学者们在Frontiers神经心理学期刊下发布了他们，将 Pepper 机器人与 Open AI 系统 （ChatGPT） 相结合，以辅助自闭症儿童认知发展的研究。研究模拟了自闭症患者在两种不同情况下的两种可能的模拟交互场景，表明 Pepper 机器人与 ChatGPT 技术相结合，为自闭症儿童提供了高质量、适应性强的交互体验。
Pepper 机器人与 Open AI 整合的技术过程
首先，研究人员介绍了整合过程涉及的关键技术规格，包括：Pepper 的操作系统（Naoqi 2.5 Python SDK）、Open AI API（GPT3.5 Turbo，用于文本识别的Whisper）和多个主要的 Python 脚本，每个脚本都有特定的功能。这些功能包括情绪识别和交流、有关 Pepper 特性和功能的交流，以及通过与 OpenAI 集成来模拟社交互动。
其中，Python 3.11 脚本使用各种库，包括 OpenAI，以及与语音识别和 ffmpeg 结合的 Whisper 库，用于语音识别并将用户输入转换为文本提示。并利用 ChatGPT API 获得响应，为每个查询提供上下文信息。并且，语音识别库可以识别特定单词以激活听力阶段。
然后，通过使用 Naoqi 库，将文本信息转换为 Pepper 的可读的对话文件。功能包括：连接机器人、传输对话文件、并激活 Pepper 机器人的自主生活模式，增强机器人与用户进行交互的能力。
open AI 和 Pepper 之间的通信过程
最终，通过将用于管理 Pepper 功能的 NAOqi 库与用于面部和情绪识别的预训练神经网络连接起来，实现了人脸表达的情绪识别。包括通过 Pepper 摄像头录制视频或捕获帧，通过人脸识别函数对 Pepper 捕获的图像进行分析，调用FER（Facial Emotions Recognition）库，用于识别面部情感。
交互场景模拟
接下来，在此基础上，研究提出了两个模拟交互场景，展示了系统在不同环境下的潜在应用。这些场景促进自闭症谱系障碍人士的沟通、社交技能的提升和解决问题的能力。
也就是说，研究提出了一套全面的课程，旨在利用 ChatGPT 的功能，并将其与图像的使用相结合，以增强自闭症患者的情绪识别技能的发展以及认知技能的发展。
交互场景包括非正式交互和结构化交互。
在非正式交互场景中，重点是创造一个轻松舒适的环境，让自闭症谱系障碍患者可以自由地与 Pepper 机器人互动。这种非正式的互动允许自发的交流，并为患者提供一个表达自己并与机器人建立融洽关系的平台。Pepper 的响应能力，包括语音识别、富有表现力的面部特征和肢体语言，有助于创建一个支持性且引人入胜的交互环境.
在结构化交互场景中，重点是引导活动和解决问题的任务。Pepper 扮演讲师的角色，提出需要批判性思维、决策和协作解决问题的特定挑战或场景。结构化互动为患者提供了一个框架，包括步骤、提示和与 Open AI 的集成，以增强问题解决过程。Pepper 引导患者经历解决问题的不同阶段，提供反馈和建议，并鼓励积极参与。该场景旨在以结构化和支持性的方式培养认知技能、决策能力和协作。
总的来说，非正式场景和结构化场景都利用 Pepper 机器人的语音识别、语音合成、面部表情和肢体语言等功能来创建动态的交互体验。同时，与自然语言理解和图像生成等 ChatGPT 技术的集成增加了交互的深度和灵活性。这些场景能够满足自闭症患者的独特需求，为沟通、社交技能发展和解决问题提供个性化和包容性的环境。
当然，虽然社交机器人可以作为支持工具，但它并不意味着取代人类互动和干预。在社交机器人和专业治疗师等相关专业人员的细致合作下，才能为患者提供更好的治疗效果。
reference：https://www.frontiersin.org/articles/10.3389/fpsyg.2023.1232177/full#B5
更多相关内容：
关注软银机器人
一同探索机器人的无限可能
更多资讯请致软银机器人公众号
.jpg)
.png_774_400.png)
.jpg)
