生成式AI人居领域应用趋势调研报告.pdf

生成式AI人居领域应用趋势 调研报告CONTENTS目录生成式AI人居领域应用白皮书02序言03第一问 人居领域有必要做行业大模型吗？04第二问 人居领域行业大模型的基础是什么？11第三问 人居领域大模型的数据层如何建立？14第四问 人居领域大模型算法层如何建立？16第五问 如何搭建人居领域大模型的平台层？18第六问 在规划设计端行业大模型可能有哪些场景？19第七问 在建设运维端行业大模型可能有哪些场景？22第八问 行业大模型会对规划设计端带来哪些影响？24第九问 行业大模型会对建设运维端带来哪些影响？27第十问 人居领域的人才培养会有哪些改变？29附录：人居领域生成式AI代表性产品3301.UrbanYX-城市认知大模型解决方案02.小库AI云03.中国金茂的大模型探索04.广联达05.品览筑绘通06.国匠城一元技能07.上格云08.建筑工程技术资料对话大模型Construction-GPT09.PlanGPT-规划专业大模型10.合景悠活物业智能客服大模型11.飞渡峥嵘大模型03PREAMBLE序言生成式AI人居领域应用白皮书2022年OpenAI发布ChatGPT，拉开了大语言模型和AIGC（生成式AI）时代的帷幕。时至今日，短短一年，大模型已家喻户晓，千模大战正在上演。生成式AI裹挟着人们对未来的兴奋与恐惧，迅速席卷了几乎所有行业。一般来说，大模型是指包含超大规模参数的神经网络模型，具有卓越的泛化能力和表达能力，但相应的训练成本也极高。随着大模型的广泛应用，人们逐渐意识到，其在产业领域发挥真正的作用仍然任重道远。对于大多数企业而言，面向垂直场景、垂直行业、垂直领域探索基于大模型的应用创新，将成为现阶段的重要攻坚方向。大语言模型是生成式AI的一个重要应用领域，主要用于进行复杂的语言理解和文本生成任务。有观点认为，行业大模型是基于某个特定行业领域的数据进行训练和优化的模型，旨在更好地理解和处理该行业的专业术语、规范和语义，以满足该行业的需求。与通用大模型相比，行业大模型更加专注于某个特定行业，能够更好地适应该行业的特殊需求和场景。然而，具体到某个行业领域，大模型和生成式AI应用的方式会存在很大的差异。有些行业，如医疗、法律或金融，需要专门训练或精调大量特定领域的文本数据，以实现专业领域的大模型，用于政务交互、专业问答等场景。而在交通、能源电力、生物、材料等领域，则会使用特殊模态的数据和算法进行训练。不过，在绝大多数领域，通过基础大模型以Embedding等方式外挂知识库，便足以解决大多数问题。随着基础大模型参数量的增加、算法的优化以及跨模态能力的提升，其解决问题的效率可能会很快超越微调等方式。例如，GPT4的升级与DALLE 3的融合，显示出读图、绘图等能力的显著提升，而GPT-4 Turbo和GPTs的发布则大大降低了制作垂直应用的难度。最终，AGI（通用人工智能）有望独立解决各种场景问题。然而，在实现这一目标之前，我们仍需探讨大模型和生成式AI近期的行业应用模式问题。人居环境概念涵盖城市、建筑与景观等子领域，贯穿规划、设计、建造到运营全生命周期，并涉及结构、设备等相关学科。尽管相关行业整体数字化水平不高，但学界和业界一直在积极探索AI的各种应用场景。基于对海量数据的学习和建模，AI已广泛应用于空间和行为的模拟推演预测、数据分析与辅助决策等领域，主要体现为对专业人员的辅助。随着生成式AI的出现，其处理多学科非结构化知识、提供更友好的人机交互以及模仿人类艺术创作过程的能力，使我们获得了处理复杂系统问题的全新手段。城市与建筑的复杂巨系统远比大多数垂直行业复杂，其行业知识规模也更大，这决定了在相当长的时间内，专业人员仍然难以被取代。因此，探究新技术影响行业发展的路径与边界也就尤为重要。一直以来，自然语言和图纸被视为人居环境领域主要的信息载体，而这两个信息载体正是目前生成式AI最为擅长的方向。作为一个传统行业，各种类型和分工的企业、机构都纷纷探索相关技术应用，近期在生成式AI领域的探索也十分活跃。因此，腾讯研究院与北京建筑大学合作，对十余位人居环境相关行业各领域的专家学者进行了访谈，他们既对行业有着深入的理解和实践经验，也都正在从事与生成式AI应用有关的工作。我们讨论的话题聚焦于生成式AI与大模型的人居环境领域应用，当然也会涉及与传统的行业AI以及其他技术的结合。希望通过这些实践与思考，推动行业在生成式AI技术背景下实现转型升级。04生成式AI人居领域应用白皮书王 鹏 腾讯研究院资深专家，教授级高级城市规划师十余年来一直从事城市数据和智慧城市研究和实践，专注于数字技术与城市空间规划结合的理论与实践，多次获得国家级规划设计奖项。曾在清华同衡、万科、华夏幸福、华为等各行业知名企业任职，负责大量国内知名智慧城市和未来城市项目。城科会城市大数据专委会委员，曾发表学术论文40余篇，任城市规划、国际城市规划等学术期刊审稿专家。李濮实 中国金茂信息技术中心技术经理中国金茂IT技术专家，数字化创新业务负责人。多年来在地产行业从事智慧社区、智慧工地、AI等方面的产品研发和落地时间，获得多项省部级奖项。负责中国金茂AI大模型企业级落地应用。李一帆 品览科技董事长上海品览数据科技有限公司董事长/创始人，清华大学创新领军工程博士，人工智能资深专家。上海市白玉兰计划专家，上海市静安区中青年杰出人才。毕业于清华大学电子工程系，CMU卡内基梅隆大学。何宛余 小库科技CEO 前OMA资深项目建筑师，香港大学建筑学院兼职教授，清华大学、同济大学、哈尔滨工业大学客座教授。深圳市智能建造专家库成员，深圳智能与绿色建造学会副会长，上海建筑学会数字建筑副主任委员。美国佛罗里达州立大学（人工智能与空间建筑）博士，荷兰代尔夫特大学贝尔拉格学院硕士（建筑设计与计算机算法），发表学术论文20余篇。获得众多奖项，包括“胡润40岁以下青年创业先锋”，“大湾区优秀创业青年”，WIM“中国女性创业者30人”，创业邦“最值得关注的女性创业者”，“世界建筑科技奖-年度创新力推动人物”等。受访专家（姓名首字母顺序）：徐跃家 博士，北京建筑大学建筑与城市规划学院副教授，中国建筑学会城市设计分会理事建筑全过程国家级虚拟仿真实验教学中心副主任，北京市未来建筑颠覆性技术创新育人平台项目负责人，北建大IIC智慧创新中心主任，ADL人工智能设计实验室副主任，数字建造实验室负责人。毕业于清华大学建筑系，专注于空间行为挖掘、建筑具身智能、AI辅助设计等领域的研究。发表学术论文40余篇，主持参与国家级科、省部级研项目10余项。访谈人：05生成式AI人居领域应用白皮书刘 超 同济大学建筑与城市规划学院助理教授智慧社区中心主任，上海同济城市规划设计研究院有限公司研究员，上海市启明星计划获得者。聚焦智能可持续城市研究与实践，主持国家级课题二项，省部级课题五项，数字化城市规划与建设实践近十项，发表同行审议论文二十余篇。刘 刚 广联达科技股份有限公司副总裁、研究院院长国家数字建造技术创新中心-数字建筑软件实验室副主任，广联达&清华大学 BIM联合研究中心专家委员，广联达&同济大学智能建造联合研究中心副主任，广联达&东南大学基础设施智慧建造与运维联合研发中心副主任。多年从事建筑产业数字化领域的BIM技术、CIM技术、产业互联网、企业数字化转型与数字建造方向的研究与实践，多次参加国家十五、十一五、十二五、十三五等课题研究。在数字建筑、数字城市、数字企业、智能建造等领域多次负责和参与战略规划、解决方案、咨询及项目落地等工作。参与和负责的报告及专著10余部，连续9年作为副主编参与住建部信息中心发布的中国建筑业信息化发展报告，发表论文数十篇，参编标准10余个。刘济瑀 北京市建筑设计研究院数字总监毕业于清华大学建筑系，注册城乡规划师，北京市建筑设计研究院股份有限公司总工程师，数字总监，中国勘察设计协会信息化工作委员会副主任委员，全国信息技术标准化技术委员会智慧城市工作组专家，北京规划学会数字规划学委会专家组成员，2022年冬奥会工程建设领域专家。长期从事建筑信息化、三维图形引擎、智慧建筑及智慧城市发展研究。先后主持及参加了数字雄安规建管平台，雄安智能基础设施建设标准，北京市规划和自然资源委员会二三维电子报审平台，工信部重大课题“大型BIM设计施工软件”及“面向建筑工业互联网的BIM三维图形系统”，北京市国资委重大研发项目“国产自主三维图形平台英心”等项目。著有勇敢走向BIM2.0论著，主持及参编了北京市地方标准规划建设管理电子报审数据标准（新编）、北京房屋建筑数据标准（新编）及民用建筑信息模型交付标准（修编）等标准。茅明睿 城市象限CEO北京城市象限科技有限公司创始人、CEO，北京社区研究中心主任，北京城市实验室联合创始人。担任全国自然资源与国土空间规划标准化技术委员会国土空间规划技术委员会委员，住建部科学技术委员会人居环境准委会委员，住建部科学技术委员会社区建设专委会委员，中国城市科学研究会城市大数据专业委员会副秘书长，中国城市规划学会新技术专业委员会委员，中国地理信息产业协会空间大数据技术与应用工作委员会副主任委员等多项社会职务与学术职务。莫修权 清华大学建筑设计研究院有限公司副院长清华大学建筑设计研究院副院长、副总建筑师。中国建筑学会会员，中国建筑学会建筑师分会会员，教育建筑专委会委员，建筑理论与创作专委会委员。2012年度中国建筑学会青年建筑师奖获得，2015-2016年国家留学基金委公派美国南加州大学访问学者，重点研究国外高校校园规划和建，2018年设计作品参加欧洲佛罗伦萨设计周、巴萨罗那设计周和圣彼得堡设计周巡展。主要设计及研究方向为文化建筑规划与设计、高校校园规划及教育建筑设计、科研办公园区规划及建筑设计、城市重点地区规划及城市设计等。从业20余年来，设计作品数十项，其代表作品获全国优秀工程勘察设计奖银奖，全国优秀工程勘察设计行业奖一等奖，建设部优秀建筑设计一等奖、教育部优秀建筑设计一等奖、中国建筑学会建筑创作奖等多个奖项。06生成式AI人居领域应用白皮书宋银灏 广联达数字建筑研究院特聘首席专家博士/高级工程师，国家数字建造创新中心实验室副主任，科技部国家重点研发计划评审专家。从事人工智能，智能建造和智能装备等领域研发及管理20余年，参与国家863课题3项，参与“十四五”重点专项指南编制，入选北京/深圳/保定/雄安新区等智能建造试点城市专家库。发表中英文论文20余篇，申请国家发明专利30项，参与多项国家和行业标准编制。孙 亮 中国金茂信息技术中心副总经理中国金茂数字化工作负责人。在企业数字化转型，IT架构管理，数据治理、创新技术应用研究等方面具有丰富时间经验，企业经营大数据分析、业财一体、工地物联网等项目能使多次入选工信部、住建部、国资委等国家部委的典型案例，在智慧城市、未来社区、能源管理领域发布多份白皮书和应用指引规范。吴若飒 上格云CEO北京上格云智能技术有限公司创始人、CEO。毕业于清华大学建筑学院。曾任北京博锐尚格节能技术股份有限公司技术总监，PMP。北京中关村U30年度优胜者，北京金种子企业，北京雏鹰人才。多年从事公共建筑机电系统技术、建筑智能化技术、节能减排技术等领域的产品研发。获得国家发明专利12项。叶 宇 同济大学建筑与城市规划学院副教授，博导，高密度人居环境与生态节能教育部重点实验室副主任同济大学建筑与城市规划学院副教授，博士生导师，建成环境技术中心副主任，高密度人居环境与生态节能教育部重点实验室副主任。香港大学博士，瑞士苏黎世联邦理工学院未来城市实验室博士后,荷兰注册城市设计师，中国注册城市规划师。研究方向为计算性城市设计、城市大数据、量化城市形态学。主持国家级课题3项，省部级课题6项，发表国内外期刊近百篇。张 昕 清华大学建筑学院长聘教授英国剑桥大学访问学者，中国照明学会室内照明专业委员会主任，中国科协智能人因照明决策咨询专家团队首席专家。研究方向为建筑光学，聚焦日常情境（居住、办公、学校、适老、驾驶等）的照明人因研究。主持清华大学本科教改项目建筑类交叉探索型人才培养体系构建。07生成式AI人居领域应用白皮书张文佳 北京大学城市规划与设计学院副院长、研究员北京大学深圳研究生院城市规划与设计学院研究员、博士生导师、副院长，国家级青年人才。主要从事时空大数据与人工智能技术开发、城市复杂系统模拟、土地利用与交通一体化规划等研究，开发了规划领域专业大模型PlanGPT，担任中国地理学会行为地理专委会秘书长。主持国家自然科学基金等国家级项目4项，省部级项目5项。在JUE、AAAG、CEUS等期刊上发表中英文论文80余篇，成果获中国地理科学“十大年度进展”、Springer Nature“中国作者年度高影响力研究”、美国交通运输协会第100届年会最佳论文、中国城市规划学会优秀科技论文专项奖等。张英楠 上海建工四建集团有限公司 建筑人工智能研究室主任博士，高级工程师，现任上海建工四建集团新技术研究中心副主任、建筑人工智能研究室主任，兼任上海市国资系统青年联合会常务委员、上海市国资系统青年技术技能人才协会副会长、中国民族建筑研究会建筑遗产数字化保护专委会副秘书长/理事、中国人工智能学会智能融合专委会委员、同济大学/上海理工大学校外导师，长期致力于人工智能技术在建筑全生命周期中的算法开发、产品研发、工程应用与实践，带领团队打造了行业内独特的建筑人工智能产品体系，全部产品累计使用人数已达3万人，累计使用次数已达500万次，累计服务工程50余项，曾荣获上海市青年五四奖章个人、上海市青年科技启明星、上海市“国资骐骥”高层次技术创新青年英才、上海建工工匠，共主持或参与科研项目23项，申请发明专利61项（授权17项），发表学术论文13篇，登记软件著作权61项。张 宇 飞渡人工智能研究院院长城市信息模型（CIM）国家标准专家编委会委员，CCF 专业会员，计算机辅助设计与图形学专委会委员。2003 年加入中国科学院计算技术研究所。从事科研工作十余年。研究方向为人工智能、计算机图形学、2D/3D 计算机视觉、三维数字孪生、机器学习等。近年来，主要围绕“数字孪生”、AIGC 等开展研究工作。主要研究数字孪生城市3D生成的大模型及应用。设计开发飞渡峥嵘大模型。目前，相关研究内容已取得重要阶段性研究成果并市场落地。达到国内领先、国际先进水平。相关成果将在国内外重要的学术会议/期刊发表系列高水平学术论文，已获授权发明专利 20 余项。朱 玮 国匠城CEO国匠城创始人，元技能网站创始人，城市规划行业新媒体工作者，AIGC科普博主（匠大实验室）。致力于规划建筑设计行业的知识服务、知识教学、知识传播等工作。中国城市科学研究会大数据专业委员会委员。毕业于上海同济大学建筑与城市规划学院城市规划系。1998年进入同济大学城市规划系本科学习，2004-2007年攻读同济大学城市规划系硕士学位，2007-2014年攻读同济城市规划系博士学位。QUESTION1第一问人居领域有必要做行业大模型吗？从1990-2000年代以提升绘图效率为核心关注的计算机辅助设计（Computer-Aided Design），到2010-2020年代以大数据研判支持为核心途径的数据支持设计（Data-Informed Design），不断发展的新技术新数据已为设计行业提供了从绘图工具、数据基底、分析研判的多方面革新。但前两波新技术变革本质上是为设计人员提供更快捷的工具、更精准的现状分析，而规划设计的输出端并未发生重大变化，仍需大量密集时间投入。不过这一情况正在发生转变，当前智能化算法快速发展所催生的人工智能驱动设计（AI-Generated Design）直接聚焦工作流的输出端，有望给人居行业的工作流带来大幅变革。生成式AI在城市规划、建筑设计中已开展应用探索，但在运营及维护等阶段的应用仍有待拓展。大模型应用的近期价值主要体现在降低成本方面。但由于其成本很高，而且十分复杂，所以未来建立端到端人居行业大模型的必要性和方式尚需探讨。当然，生成式人工智能和大模型在人居环境各子领域结合传统的定量模型、行业知识工程、专家经验、各种非结构化数据等，仍然会有非常多样的使用场景。叶宇：人工智能技术的发展历程中存在两个显著的技术奇点。首个奇点出现在2014年，深度卷积神经网络以ResNet为首和生成对抗神经网络(GAN)起始了人工智能在特定环境中的特征学习与专家智能的融合。此项技术激进地展现了智能化分析决策和设计输出的可能性。初始的应用成果看似粗糙，如街景分析、平面生成等，但在城市规划和设计中的广泛运用不可小觑。其次，2023年展现了第二个技术奇点，基于Transformer框架的生成式人工智能技术如ChatGPT和Stable Diffusion模型实现飞跃式发展，产出了质量极高的文稿和图像，几乎达到了设计师们设定的“图灵测试”的标准。这些技术不仅提升了设计输出的质量，更是塑造了新的工作范式的前瞻，预示着人工智能技术的创新应用方向。无论是从技术发展的阶段看，还是从现阶段大模型带来的效果看，发展建筑行业大模型都是必要的。张昕：建筑大模型建设的必要性可借鉴大科学计划的逻辑进行整理。当项目能在关键领域解决重大问题，且对国家安全或人类的生存权/发展权形成积极影响时，如人类基因组计划，投入对应的资金是理智且必要的选择。若建筑大模型能显著提高中国人口的寿命或改善儿童视光健康，那么这样的项目理应被认真考虑。或许可以参考公共卫生等相关领域的行动逻辑。一个项目，如果无国家或人类生存利益的直接支持，是难以获得必要推动的。以日本为例，因为地震频繁，建筑安全模型研究则居于至高无上的地位，然而在我国，以房屋安全为主题的大模型研究仍处于起步阶段。再如，近期双碳目标，本应该带来新的动力，然而在建筑学领域，仍欠缺关键性行业大模型的推动力。总而言之，权衡建筑大模型的必要性，必须在战略层面审酌项目的关键目标与预期效果。刘超：政府层面，自然资源部对大模型的接纳度确实很高，然而，商业层面，面临行业规模受限，建筑和规划行业难以独立支持大模型研发。另外，应用层面，在大模型应用上，建筑行业与规划行业的核心焦点不同，建筑更侧重图像处理，而规划则注重文本和空间信息处理。尽管建筑与规划在中国的传统观念中被视为同源，本科训练基础课程也存在相似性，然而新技术的出现和专业的演变正在加深两者间的差异。未来这两个领域能否重新融合，仍待观察。建筑和规划行业都需要大模型技术来提升其专业效率和精度，但面对行业内部分歧和资源限制问题，对建筑行业大模型的建立必要性，尚需要进一步的实际考量和策略部署。张文佳：大模型的价值不在于模仿人类，而在于能够在人力成本高昂的领域，通过大模型的优秀表现发挥其优势，降本增效。建筑与城市规划，恰恰是智力密集、人力成本高昂的领域。从这一角度来说，建筑行业大模型建设的必要性是显而易见的。08生成式AI人居领域应用白皮书徐跃家：大模型在建筑及规划领域的应用，应以提升质量和降低成本为目标。若追求高质量，建立大型行业模型则成为必要之举。在建筑和规划过程中，大模型的重要性可归纳为两个阶段：创意启动阶段，它提供了基于实际空间图纸的辅助工具；在审图阶段，它以其规范性和逻辑推理能力为支撑。未来，行业特征可能将不再遵循传统的分类，而更倾向于分为规范逻辑型和发散想象型两种。这也更能发挥大语言模型的优势。为提升建筑和规划过程的质量和效率，建立大模型是必要且具有价值的。大模型的应用既可在创意启动阶段提供辅助，在审图阶段也能发挥其规范和逻辑推理优势，未来其更可能呈现规范逻辑型和发散想象型的特征。孙亮：金茂正在多个领域广泛开展工作，尤其关注由人工智能引发的问题。虽然人工智能能够取代人工，进而节省成本，但其真实对底层人群的裨益仍带有疑问。企业通常以利润最大化为目标，从而推动各种技术被用于减少人工成本。然而，是否能实现社会逻辑，技术逻辑和资源分配的一致性，该问题值得深入探讨。在房地产业务方面，由于业务流程已经高度结构化，企业内部管理相对简洁，甚至许多工作已被外包。近期，我们看到行业中开始尝试将AIGC技术应用到城市景观、建筑外立面和室内设计等领域。人工智能的未来应用可能包括进行图像标注、审核以及设计评估等工作，但像全自动施工等领域还处于基础阶段。建筑行业大模型的建设在优化业务流程、提升工作效率，甚至预测未来趋势等方面具有重要价值，尽管其在一些领域的应用还处初始阶段，但同时也揭示了未来发展的广阔空间。莫修权：清华设计院目前正将AIGC作为基础工具和技能进行内部培训和竞赛。确实，AIGC在创新阶段，特别是作为甲方沟通的参考图，是比较有效的工具。然而在可控性方面，如局部的调整收敛，以及生成真正的三维造型，AIGC还存在局限，以至于它最后可能仅成为一个渲染工具，仅可取代效果图公司。各设计院有设计师正在开发基于扩散模型的网页工具，这些工具允许用户通过简单的交互进行建筑风格和功能的控制，尽管这些工具彼此之间大同小异。此外，我也在使用GPT进行一些文本的扩充工作。施工图阶段已出现自动生成楼梯间、厕所等的产品，同时在规范审图方面也已有一些可用产品。尽管AI发展已可以取代一些助理性工作，但对资深建筑师而言，使用AI的动力并不强大。未来，AIGC很可能像CAD一样成为行业的基本工具。如果是这样的话，过早投入学习可能没有太大价值。总的来说大模型在建筑行业具备一定的必要性，其在创新阶段和施工图阶段的应用已经证明了其价值和潜力。然而，其在可控性和广泛推广方面的挑战，仍需行业不断研究和探索。何宛余：扩散模型和大语言模型具有出色的泛化能力，已在解决各类抽象问题上，特别是图像和文本处理方面，显示出优异性能。然而，如何将这些先进技术在具体场景中应用，以及如何依据问题本身来选择合适的模型，确实是需要解决的关键点。在连接客户需求与设计师设想，以及在创新实践与具体操作之间的衔接问题上，扩散模型具有其独特的优越性。对于某些其他问题，我们可能需要倾向于传统方法。灵活地根据具体问题选择合适的解决方式是至关重要的。建立建筑行业大模型实施的必要性在于其在连接用户需求与设计构想，加强创新实践与实际操作衔接等方面的独特优势。同时，灵活地根据任务特性和需求选择合适的模型或方法，是实现真正有效应用的关键。刘济瑀：在建筑设计自动化和AI应用的探索过程中，我们面临着一个重要决策：是选择立即提供生成式服务，还是依赖工程师手动遵循规则设计。这是AI生成式内容（AIGC）与规则生成式内容的关键讨论点。虽然AIGC在审美方面有所贡献，但在个性化和严格遵循规范方面表现不足。在工程领域，尤其是施工图、建设以及运维阶段，行业模型展现出更大的潜力，能够提供快捷的分析和自动化控制。期待AI能整合标准和经验，长期而言，可在空间优化、能源消耗，以及安全性等方面表现更佳。虽然建立行业模型的初期成本较高，但其预期回报具有显著优势。建立建筑行业大模型是必要且具有价值，不仅能够提高设计质量和效率，也能实现规范化、自动化的控制，并具有显著的回报期待。09生成式AI人居领域应用白皮书李一帆：作为一家专注于设计云平台的AI工程公司，我们一直专注于为工程设计、施工和政府用户提供卓越的产品，旨在打造泛工程设计平台。我们坚信大模型和AI技术的强大潜力，它们将引领一场技术革命。在工程设计领域，我们正在见证一个从物理图版到计算机辅助设计(CAD)，再到人工智能(AI)的演进。我们认为，大模型将推动更互动的设计方法，使设计师能够通过文本或语音与系统互动，从而实现更高效的设计。我们正在探索以简洁文本或会话生成设计模型的可能性，并且发现这种方式的可行性越来越大。我们坚信，由AI驱动的设计方法将推动设计师从传统工具转向更现代的交互模式，从而引发行业的重大转变。我们致力于将最新的AI技术引入工程设计领域，以推动行业的进步和发展，相信这将开辟更广泛的创新空间和高效工作流程。我们坚信建立建筑行业大模型是走向高效和创新的必要步骤。它不仅推动设计流程的现代化，提高工作效率，更引领了行业的技术革命，开拓了广阔的创新空间。朱玮：大型模型充当着一个覆盖广泛知识的通用知识库的角色。使用它如同咨询一位博学的专家，问题的质量直接决定了获得的答案的质量。在我们的行业实践中，为了将专业行业知识与大型模型相结合，需要持续对模型进行训练和微调以适应具体的行业需求。训练和验证这样的行业特定模型的过程虽然耗费时间并相当复杂，但对于全行业的变革却有着重大意义。关注细节和工作流程的研究在模型训练过程中至关重要。我们正在尝试利用大模型的通用能力加快迭代速度，并通过网络服务进行初步应用，同时收集用户反馈以优化模型。建立专门针对建筑行业的大模型是一项对行业进步至关重要的工作。这不仅有助于实现工作流的优化，更能推动行业技术进步，实现行业内的全方位变革。张英楠：自2020年10月创建以来，我们作为专注于建筑人工智能算法研发的施工企业团队，已经发布了多款创新的产品。我们的首个产品是一款供行业一线人员免费使用的钢筋钢管云点数小程序，现已获得近2万注册用户。去年，我们推出了一款基于语义监督学习的施工方案智能生成的云平台，可以自动完成工况计算和文字生成，将编撰施工方案所需的时间从一小时缩短至3分钟。我们还开发了一款人工智能CAD插件，可一键生成施工方案图纸，大大节省了绘制图纸的时间。最近，我们研发了行业内首个百亿字符的知识增强对话大模型Construction-GPT，它不仅能进行智能检索，还能像行业专家那样与工程师展开对话，提供精准的答案。我们的目标是围绕企业业务需求，为一线技术人员提供便利工具，以支持现场管理、施工模拟和日常工作流程。实践经验表明，建立建筑行业大模型不仅可以解决现有的工作痛点，优化流程，提高效率，也有助于推动行业的科技进步和创新，从而实现行业的深度变革。张宇：大模型的主要目标应是赋能各行业，尤其是解决细分领域的具体问题，而不仅仅是用于进行聊天。因此，专业类的大模型正是我们所追求的目标。实现这一目标需要经历一个从通用培训到专业调优的过程。我们在构建三维领域的大模型时，首先要进行预训练以获取基础的三维知识，然后再针对具体领域进行专门的微调，这样可以把模型的泛化能力优化到专业领域。建立专业针对建筑行业的大模型，是实现行业内问题解决和创新优化的关键步骤，它带来的具体问题解决能力和专业化优势，将推动建筑行业的技术变革。大模型在规划设计、概念设计、初步设计、施工图设计阶段以及施工和运营阶段都能发挥作用，但需要将行业专业知识、规则和标准融入其中。扩散模型有利于缩短客户需求与设计师构想之间的差距，但关键在于如何将技术应用于特定场景。大模型与知识解耦，最佳方式是将知识以外挂知识库的形式融入模型。行业大模型需吸纳行业经验，尤其是从工程实际数据中提炼、萃取和总结，以满足工程建设整体需求。大模型将实现更快捷的交互式设计方式，通过文字、图像、语音和视频等多模态信息输入，实现与设计系统的交互。行业需要关注细节问题，开发微调模型以适应工作流程。当前人居领域应用大模型的主要方式还是通过API调用，实现特定功能，但Chat、Embedding、Copilot、Plugins、Agents等方式，都已经有很多的尝试。10生成式AI人居领域应用白皮书QUESTION 2第二问人居领域行业大模型的基础是什么？生成式AI行业应用的基础通常包括两大方面，一是大语言模型的基座（多模态），二是建筑行业知识工程与知识图谱（规划、勘察、设计、生产、施工、运维等）。前者对行业来说更多是选择应用，而后者，则是专家和企业们主要致力的方向。由于数据安全问题，企业通常倾向于使用开源模型训练并私有化部署，但权限管理比较好的SaaS方式也会逐步接受。在建筑行业中，知识工程与知识图谱是生成式AI应用的关键。知识工程是将人类专家的经验、传统规则模型和AI算法积累，以各种方式融入新的大模型生态中，从而实现对现有知识的重用和优化。知识图谱则是将知识工程的结果进行系统化的管理和表示，以支持后续的智能应用。此外，还需要建立跨领域的知识融合模型，以支持不同领域之间的知识交互和共享。常用的具体技术手段和工具包括有监督精调、知识增强、人类反馈的强化学习、检索增强等。有监督精调是一种通过人类专家对模型输出结果进行标注和反馈，从而优化模型性能的方法。知识增强则是利用已有的知识库对模型进行训练，以提高模型的推理能力和准确性。人类反馈的强化学习则是通过人类专家对模型输出结果的评估和反馈，来提高模型的自我学习和优化能力。检索增强则是通过引入高效的检索算法，来提高模型在海量数据中的推理效率。李濮实：全球最先进的大型模型，如GPT4等，往往采取闭源模式。在国内市场，大公司如百度和腾讯也已经研发出自己的大型模型，而开源大型模型则以Llama和GLM为主。关于大模型与知识解耦的问题实质上是成本问题。继续训练大型模型需要大量的计算资源和数据支持，因此，将知识以知识库的形式，通过向量链接混合结构化知识或企业内部专有知识，可能是一种更优的方法。我们致力于提升大型模型的可解释性，因为它们往往表现为黑盒子。例如，我们公司在规章制度的应用方面进行了实践，确保AI提供的答案基于实际存在的实体和企业内部信息，保证其可靠性。对大模型的精细化调教以及知识的有效融入是人居领域生成式AI应用的基础。通过这些实践，我们能确保AI提供的信息准确无误，从而有效推动人居领域相关工作的效率和质量。孙亮：当前的大型模型主要是理解文本的表面含义，而对知识的深层逻辑结构探究尚不足。因此，我们应努力鼓励模型对人类语言和逻辑进行更深入的理解，并需要重视不同领域的知识学习，包括社会学和常识知识等。对于专业和工业领域的知识，建立专业数据库以支持模型学习是必然的途径，最终的目标是提升模型的决策能力。如若这种技术能提升专业技术水平，并减轻劳动力需求，那将对实际工作带来极大价值。对于大模型的应用，加深模型对人类语言和逻辑的理解，以及扩展模型在专业领域的知识学习，都是其基础和关键。通过这种方式，我们有能力持续优化AI技术，使其能更好地服务于实际应用需求。刘济瑀：在AI概念提出之前，工程领域已经进行了大量的仿真模拟和分析应用。人工智能生成内容（AIGC）依赖庞大的语料库、机器学习和算法。但在工程界，特别是设计和施工领域，我们更常受国家行业标准和规范，即“规则”的限制。因此，在某些场合，基于规则的生成可能在设计阶段更便捷。AI并不是独立创造，而是依赖大量数据，和不同人对同一关键词的描述。AI通过总结、分析和整理这些数据来帮助设计新的方案，并提供各种风格的选择。这一点很重要，因为社会发展导致年轻一代对于美感的理解正在发生改变。尽管年长一代对美的认识或许有些局限，但他们的理解经过社会和时间的检验，是值得传承的。例如，时尚的更迭下，经典元素仍被维护，并且建筑背后的艺术原则如比例、色彩和表达方式，也是值得传承和保留的。目前，我们正在将退休专家的经验转化为行业模型内容，提取关键设计理念和思路。将传统的工程设计理念和规则糅合到生成式AI中，不仅能够在设计阶段提供便捷的方案生成，还能够将经过时间检验并值得传承的经验和美学理念整合入模型，从而赋予AI工具更深层次和广泛的应用价值。11生成式AI人居领域应用白皮书徐跃家：我们所需的并非一个无止境扩张的模型，而是一个具备时空推理能力的模型，它可以在综合条件下生成较为精确的可以编辑的对象。并且这类模型需要能够整合到设计过程中，通过调用语言模块实现任务的自动化。具备时空推理能力，具备理解与无缝对接设计流程能力，是建筑行业大语言模型的必要基础，在此基础上大语言模型才能切实提升工作效率且保障设计的准确性。茅明睿：在AI的早期阶段，基于规则的定量建模和专家系统对城市规划起着关键的作用。虽然深度学习的出现带来新的可能，但它仍然与这些传统方法紧密相连。现在，我们正在试验将知识图谱和大型模型结合，为特定任务开发嵌入式小型模型插件，以提供更为稳定的智能服务。我们明白，并非所有任务都需要大型模型，对于特定领域而言，小型模型与本地知识库的结合可能更有效。我们的目标是提供针对各种场景的适当解决方案，并继续探索如何有效地结合各种工具和技术，以实现高效、经济的智能服务。人居领域生成式AI应用的基础在于对工具和技术的搭配与创新，以适应各类场景的需求。我们应借鉴历史并结合当下的利器，不断探寻高效而经济的解决方案，推动智能服务的发展。朱玮：我们正在积极探索AI在行业应用的最终目标，从理论和实践两个方向进行准备。理论上，我们借鉴了英国设计协会的“双钻模型”，发现AI在内容生成中也展示了扩展和收敛的双重特性。这种思维模式的相似性可以作为设计师与AI模型协同工作的基础，预示着设计范式的未来转变。在实践层面，大模型和小规模微调模型的结合，类似于设计师的经验与新知识的整合，预示着新的设计工作流的生成。在AI语言模型应用中，我们借助chatGLM的能力，结合知识库和提示词工程，建立了大模型与传统数据查询相结合的服务流程。这既是一种过渡手段，也可能是行业特点所决定的发展路径。在图像模型应用上，我们试图构造AI认知镜像，实现AI与人在设计环节的深度协作，使得行业模型真正成为协作工作的核心环节。简言之，我们需要在理论与实践中寻求AI与设计师的深度融合，尝试不同的模型和工具搭配，逐渐塑造出新的设计工作流程。知识库的建立和有效利用将是重要助力。李一帆：大模型在建筑设计中扮演着核心角色，它提升了计算能力，用于结构设计、优化和设备仿真，并通过API进行关键的决策制定。它也可以作为一个架构，通过对话收集建筑策划和设计方案的信息，利用插件进行计算，然后将其转化为三维多专业模型，为智能施工和运营提供支持。我们利用GPT3.5接口进行研发测试，体验了其最新的功能和能力。尽管仍看到了技术的差距和评估误区。大模型在文本理解和上下文连接方面表现出色，可以快速准确地从大量的文本和图纸中提取知识。未来，AI在设计全过程中的角色将越发重要，而这需要我们不断改进和优化模型。知识工程在整个过程中是不可或缺的，大模型的支持使得判断和决策变得可能，使我们接近实现AI建筑设计师的目标。随着互联网和数据的可访问性的增加，知识工程的必要性可能会降低，可以通过逐步调用相关信息，沿着思维链条完成任务。需着重于大模型在建筑设计的全过程中发挥的决策支持和计算优化作用，通过优化模型和知识工程，持续改进服务效能，逐步实现AI建筑设计师的目标。12生成式AI人居领域应用白皮书宋银灏：我们对市场上的主流大模型进行深入研究，并结合建筑行业的特殊要求，开发了自己的基础模型，经过算法和软件配置的优化和定制。广联达在此领域投入了巨大的资源，其中三分之一的员工是程序员，其余为行业专家和市场人员。我们不仅专注于研发投入，还进行了大量的软硬件投资，以支持运行大型模型所需的强大计算能力。我们的基础模型服务于建筑产业链的每个环节，从规划到运营和维护。去年，我们推出了数维设计产品，并基于自主的国产平台充分利用正向设计模型，通过模型重用实现数据传递，消除信息孤岛。我们通过连通价值链的各方，避免重复建模，减少浪费，提升工作效率，实现数据最大化的价值。我们需通过构建基础模型、优化算法和软件配置，以及投入适量的软硬件资源来适应大型模型的需要。张文佳：在行业应用中，常常需要对开源模型进行本地部署。然而，这样的操作通常会受到开源大模型参数量、训练数据质量和对齐能力的限制。当前国内产品在这些方面还存在瓶颈，因此其效果可能会受到影响。我们需要克服开源大模型在本地部署时的具体问题，如参数量大、训练数据质量和对齐能力等，以推进国内产品的发展，解决效果受限的问题。张英楠：在研发行业大模型时，企业主要采用三种方法。第一种是购买现成的商业大模型API接口，并将其集成到企业的数字化业务流程中，这种方法效率高，开发难度低，但可能存在数据安全和高成本的问题。第二种方法是部署开源大模型，可以避免数据和网络安全问题，同时降低成本，但可能无法完全满足企业的业务需求。第三种方法是基于开源大模型，自主开发针对特定业务场景的编码器和解码器，进行监督微调和价值对齐，保证数据和算法的分离。这种方法虽然开发难度高，但可以解决安全问题，保证大模型的性能，并在使用-反馈-优化的过程中提升企业大模型构建的能力。企业需要根据自身需求选择适合的研发方法，并注重企业大模型构建能力的培养。通过不断的试验和优化，企业可以逐步