《2陈小红-需求工程分论坛-所见即所得:IoT最终用户编程.pdf》由会员分享,可在线阅读,更多相关《2陈小红-需求工程分论坛-所见即所得:IoT最终用户编程.pdf(33页珍藏版)》请在三个皮匠报告上搜索。
1、中国国际软件质量工程峰会中国国际软件质量工程峰会International Software Quality Engineering Forum陈小红陈小红华东师范大学华东师范大学2023.5.262023.5.26所见即所得:IoT最终用户编程的体验式原型自动生成方法中国焦作中国焦作22023 iSQE 大纲大纲研究背景方法框架具体的生成方法案例研究与评估总结大纲大纲32023 iSQE 研究背景研究背景 随着IoT技术的快速发展,IoT使能的系统正在涌现 智能家居,智能楼宇,智慧城市 个性化的用户需求,最终用户编程,智能服务 触发-动作编程(Trigger-Action Programmi
2、ng,TAP)IoT最终用户编程范式“IF temperature28THENturn on air conditioner1”执行指令SmartThingsHomeAssistant华为智慧生活米家触发条件42023 iSQE 研究背景研究背景 但是,TAP规则并不是用户意图 TAP规则是设备/品牌/技术相关的解决方案 用户意图是设备/品牌/技术无关的高层需求 最终用户写的TAP规则难以满足其真实意图 Ur等人发现318 名工人(1,590 个TAP规则),只有约 62.6%符合用户需要 用户通常难以意识到他们所写规则的实际效果IFpm_2_530 THEN turn on the airc
3、onditionerIF the air conditioner.on THEN close the window结果:开空调的时候,窗户会开结果:开空调的时候,窗户会开 有必要在执行TAP规则前对其进行需求确认52023 iSQE IoTIoT使能系统的使能系统的需求确认需求确认 IoT使能系统需求确认原型法 IoT系统中,软件嵌入在设备中,无GUI界面 现有的方法:人工做动画勾画服务场景,体验式原型我们提出我们提出从从TAP中自动生成体验式原型中自动生成体验式原型服务场景规划与可视化成为研究的难点 服务场景规划:受设备特性约束,随人及其环境变化服务场景可视化:用户易于理解A.Asha,F.
4、Anzum,P.Finn,E.Sharlin,and M.Sousa.2020.Designing external automotive displays:VR prototypes and analysis.In 12th International Conference on Automotive User Interfaces and Interactive Vehicular Applications,7482.62023 iSQE 本文工作本文工作基本想法:自动生成IoT系统的体验式原型动画利用仿真来规划服务场景的轨迹:人的变化、环境变化、设备的变化 利用动画技术进行服务场景轨迹可
5、视化:提供体验式原型,能看到实际的运行效果主要贡献提出了一个从TAP规则中自动生成体验式原型的方法框架 提出了一个基于仿真规划服务场景轨迹方法,综合考虑期望的系统行为、系统设备行为、人的行为以及环境变化 提出了一个从服务场景中生成可执行动画规约的方法,以支持体验式原型的生成72023 iSQE 大纲大纲研究背景方法框架具体的生成方法案例研究与评估总结大纲大纲82023 iSQE 智能服务场景的形成8智能家居控制器系统系统控制器系统设备环境人92023 iSQE 方法框架方法框架系统设备模型动画素材库系统行为模型服务场景轨迹2:模拟服务场景轨迹1.综合系统行为模型动画规约3:生成动画规约服务上下
6、文模型var:(t0,v0),(t1,v1).,(tn,vn)frame:(tim,ent,in s,act,dur,staPos,endPos知识库102023 iSQE 大纲大纲研究背景方法框架具体的生成方法案例研究与评估总结大纲大纲112023 iSQE 知识库知识库系统设备模型动画素材库服务上下文模型设备行为的时间相关的可预测性:TA(TimedAutomaton,时间自动机)人的活动和环境变化模型:TA用于动画中的预制件:图片、视频及其关系122023 iSQE 系统设备模型系统设备模型 感知器感知器:周期性的检测环境属性 时间相关的自循环 初始状态 作用器作用器 当收到控制信号时变
7、化他们的工作模式 工作模式作为状态132023 iSQE 智能服务:提供服务给最终用户,其场景随环境变化而变化 服务上下文包括:环境和人服务上下文模型服务上下文模型(c)HumanL0-L1-L2-L3(a)Temperature环境:环境:持续变化:如温度,变化曲线 离散的:下雨人:人:穿梭于各物理空间 处于位置作为状态 时间驱动位置变化(b)rain142023 iSQE 动画素材库动画素材库空间布局空间布局静态图片静态图片设备的外观自动机设备的外观自动机人的外观自动机人的外观自动机152023 iSQE 步骤步骤1.1.综合系统行为模型综合系统行为模型(b)系统控制器模型:从TAP规则n
8、 TAP规则-n 单元控制器单元控制器(a)交互系统设备:从系统设备知识库中获取close_windowi Smart home controller162023 iSQE TAP规规则则1:IF Window_0.wopen ANDIF Window_0.wopen ANDtemperature28THENTHENBulb_0.turn_bulb_off.turn_bulb_off单元控制器的构造单元控制器的构造规则规则1的控制器的控制器Bulb0知识库知识库:BulbEnvironment知识库知识库:Window172023 iSQE 步骤步骤2 2:模拟服务场景模拟服务场景系统相关上下
9、文模型上下文模型服务模型TAP规则规则时间自动机网络赋初始值仿真初始温度值初始湿度值等等simulateKitchen-Bathroom-Guestroom-Livingroom-Out”240“Livingroom-Kitchen-Bathroom-Bedroom-Guestroom-Out”330“Livingroom-Kitchen-Bathroom-Bedroom-Guestroom-Out”420“Livingroom-Kitchen-Bathroom-Bedroom-Guestroom-Out”530“Out-Livingroom-Bedroom-Out-Livingroom-Be
10、droom”上下文的设备及温度变化图例272023 iSQE RQ2RQ2:生成原型效:生成原型效果果与现与现实实的的比较比较在上下文一致的情况下,响应时间越接近真实情况,生成原型和现实中该设备的工作情况保持一致!282023 iSQE RQ3RQ3:生成的原型生成的原型对对需求需求确确认认的的作作用用错误类型错误类型错误类型含义错误类型含义案例案例观察观察从未触发存在规则从未触发案例1人出门时未观察到门关闭状态冲突设备频繁开关案例2恒温器模式频繁切换案例3观察到窗帘频繁开关案例4观察到灯频繁开关不安全出现影响人身安全的状况案例5观察到 pm2.5 过高时,窗未打开案例2观察到 pm2.5 过
11、高时,窗未打开观察到温度小于-10 摄氏度,空调为制冷状态不完整性设备的操作不完整案例6人进门时门开人离开时门未关闭隐私泄露外部设备状态泄露了人的状态案例7观察到人在门口灯打开,人没在屋时门口灯关闭动作冗余出现重复的动作案例8能发现:状态冲突、不安全、隐私泄露不能发现:动作冗余可能发现:从未触发,不完整292023 iSQE RQRQ4 4:效率评估:效率评估人工人工VS本工具本工具302023 iSQE 工具自身的效率工具自身的效率 系统模型综合时间随TAP规则数量线性增长 仿真时间不确定:跟状态空间有关 动画生成时间基本相同:资源加载在TAP规则数量低于1000时,时间主要消耗在动画的生成
12、312023 iSQE 大纲大纲研究背景方法框架具体的生成方法案例研究与评估总结大纲大纲322023 iSQE 提出了一个从提出了一个从TAP规则中自动生成体验式原型的方法规则中自动生成体验式原型的方法 通过仿真规划服务场景轨迹,综合考虑期望的系统行为、系统设备行为、人的行为以及环境 从服务场景轨迹中生成可执行动画规约的方法,以支持体验式原型的生成 能快速生成动画,用于需求确认,效果良好 提供给IoT最终用户编程一个需求确认的可行方案 下一步工作 完善工具,推进实用 更多的真实案例,改善与用户沟通 引入VR,增强用户体验总结总结Thank you Thank you 中国国际软件质量工程峰会中国国际软件质量工程峰会International Software Quality Engineering Forum