手机浏览器扫描二维码访问
文文本语义相似度分析的方法,该方法在中文文本相似度计算方面取得了显着的效果。放眼国外,
Google的研究者提出了word2Vec算法,该算法将词语表示为高维向量空间中的点,通过计算点之
间的距离来衡量词语之间的相似度。word2Vec算法在文本相似度计算领域具有广泛的影响。斯坦
福大学等机构的研究者提出了bERt模型,该模型通过大量的无监督学习来捕捉文本的上下文信
息,可以实现高精度的文本相似度计算。bERt模型在多项自然语言处理任务中均取得了优异的表
现。
2.5本章小结
本章主要介绍了本项目中使用的四种关键技术与模型。这些技术主要基于大型语言模型,并且
依赖于RAG技术的原理。介绍了知识抽取技术,它利用先进的自然语言处理技术从文本中提取有意
义的信息和知识,随后讨论了文本处理中所使用的RAG技术,该技术可以显着提高大型语言模型在
专业领域的性能,增强信息检索的准确性和效率。最后探讨了在文本比对过程中所需的相似度计算
方法,这对于评估文本之间的相似程度至关重要。
了解清楚数据获取来源后,进行数据采集,数据采集的方法包括自动化和手动两种方式:
自动化采集:利用编写的python脚本通过ApI接口自动从上述数据库和期刊中下载文献和元
数据,部分代码如图3.2所示。这种方法的优点是效率高,可以大量快速地收集数据。使用
beautifulSoup和Requests库从开放获取的期刊网站爬取数据。
手动采集:通过访问图书馆、研究机构以及联系文章作者等方式获取不易自动下载的资源。虽
然此方法更费时,但有助于获取更全面的数据集,特别是一些最新或尚未公开的研究成果。
将两种方法采集到的文献数据进行汇总,最大范围的将有关电力LcA领域的英文文献进行汇
总,共获得507篇。
最后是将各个途径获取到的文献数据和元数据汇总,进行数据预处理。
采集到的数据需经过清洗和预处理,才能用于后续的分析。
数据预处理的步骤包括:
数据清洗:删除重复的记录,校正错误的数据格式,填补缺失值。
数据整合:将来自不同来源的数据整合到一个统一的格式和数据库中,如表3.1所示,以便进
行进一步的分析。
为了使后续知识库生成更加准确与完善,对文献具体内容进行筛选。例如部分文献中并未提到
所用数据,而是指出所用数据库链接,如图3.3所示,在对该篇文献进行解析后,数据部分就是欠
缺的,最终构建的知识库就不完整,在调用大模型回答相关问题时,极大概率产生幻觉。因此为了
构建更为准确的专业模型,对爬取下来的507篇文献进行筛选,选择包括流程图(system
boundaries)、各单元过程或生产环节的投入(input),产出(output),数据(lifecycle
inventory),以及数据的时间、地点、获取方法、技术细节的文献作为最后应用的数据。核对内容
后的文献数据集共98篇英文文献。
仙道衍 抗战之烽火特勤组 西游之白话版 将军公主 快穿:尤物穿成万人嫌工具人女配 最强赛亚人传说 爱上她的理由 兽世重生,情敌太多狼夫哭唧唧 天灾末世小人物囤货带美女跑路了 扮演岩王帝君多年后,我穿回来了 退婚当天,三崽带我闪婚千亿隐富 爸爸,求你,不要打我了 强撩!暗哄!我怀了全球首富的崽 闪婚后偏执大佬每天狂宠我 资深颜控闯荡娱乐圈 女魔头只想攻略她师叔 白昼独行 盗墓:开局让吴二白暴揍黑瞎子 生子就变强,我一年365胎 我与十位,美女总裁的故事
当秦奋手机微信摇出了天庭朋友圈,他发现自己的人生变了,但天庭的变化更惊悚。想要金点子,行,拿东西来换,我不挑食。超市,串串香,等一系列熟悉的东西对原有的天庭造成了冲击。秦奋看着天庭的物产,发现自己似乎要发了。种田,数钱,好多事要做。我是先吃蟠桃呢,还是九转金丹。签已过,人品嘛,我很有节操可以吗?求点求收求票票,求包...
万人追更,火爆爽文农村小子偶然获得神农传承,从此一飞冲天,成为人中龙。带领大家走上一条致富路。...
新书已发,书名逆行我的1997,重回都市,弥补首富匆忙结尾遗憾,老铁们有时间去看看。1995年张晨重生在国庆节前夕的张湾大队。百崇县坝头乡白鹤村...
这小小的四合院,住着一群租房客,而陈阳则是房东。好吧,既然如此,保护房客这个光荣而艰巨的任务,只能落在我的头上了。陈阳书友QQ群188631860...
前世黑莲花白蓁被人在车上动了手脚车祸去世,穿越成了合欢宗女修白千羽,开启了和前世开后宫没什么不同的修仙之路。这篇算是某某宗女修炼手札的同人,但是是否玩游戏对看文没啥影响,文不会收费,大家放心追,女主是自设的无心海王型号。挂是挂了修真的名头,其实本文没有着重写女主初期修炼,主要还是着重她成为女王之后的故事。全文分三部分,第一二部分女主一边双修一边把以前给她使绊子的人给除了,手段稍微有点粗暴残忍,结果奇奇怪怪自称系统的东西出现了,告诉她,她已成为了这条世界线的主人,同时她设计把自己也拱成了修真大陆的无冕之王。第三部分开幕,无冕之王并不是这么好当的,一边要均衡各大势力,挑对自己有用的掌握在手里,一边要处理情人们的修罗场。。。。偶尔,系统还会给她出难题,让她暴打外来入侵者。然而白蓁(千羽)对此表示,挺好玩的,再来点。本文可能微微有点女尊倾向,女主床上小淫娃,床下真女王,没心没肺,快乐加倍。有疑似正宫,但是基本不会出现1v1的情况,女主这么强,配一个男的太亏了(啥?)。预警,女主从目前的伦理道德来讲,确实是渣女,而且吸溜子也没想洗。...
我是空间的旅人,时间的行者我追逐真理,寻觅起源我行走诸天,求真万界我是传道者,亦是冒险家。另外,我真的很凶,超凶(看封面)!声明1本书尽量走合理认知世界的路线,有自己的观点设定,不喜勿扰!声明2本书中的内容并不真科学,并不全合理,因为没有实际基础,纯属作者菌的蘑菇想法,作者也写不出全无bug的小说。...