ek381 lab1 mo

import%20marimo%0A%0A__generated_with%20%3D%20%220.12.10%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20layout_file%3D%22data%3Aapplication%2Fjson%3Bbase64%2CewogICJ0eXBlIjogInNsaWRlcyIsCiAgImRhdGEiOiB7fQp9%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%20ENG%20EK381%3A%20Probability%2C%20Statistics%2C%20and%20Data%20Science%20for%20Engineers%20%20%3Cbr%3E%20Lab%201%3A%20Getting%20Started%20with%20Python%20and%20Jupyter%20Notebook%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20This%20lab%20was%20completed%20by%20%5BYOUR%20NAME%20HERE%5D.%0A%0A%20%20%20%20%20%20%20%20(double%20click%20on%20this%20%22cell%22%20(box)%20to%20edit%20the%20above%2C%20then%20delete%20this%20helper%20sentence).%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Welcome%20to%20EK381's%20new%20set%20of%20labs!%20The%20goal%20is%20to%20give%20you%20hands-on%20experience%20with%20**exploratory%20data%20analysis**%2C%20which%20is%20a%20useful%20skill%20set%20for%20many%20disciplines.%20Unlike%20in%20previous%20semesters%2C%20we%20are%20not%20asking%20you%20to%20write%20programs%20yourself%20and%20you%20will%20not%20be%20asked%20to%20turn%20in%20your%20code.%20Instead%2C%20the%20provided%20Jupyter%20notebook%20will%20demonstrate%20how%20to%20use%20a%20data%20analysis%20technique%20using%20a%20couple%20of%20lines%20of%20Python%20code.%20Your%20task%20will%20be%20to%20apply%20these%20basic%20functions%20to%20analyze%20and%20plot%20the%20data.%20There%20will%20be%20clearly%20marked%20places%20for%20you%20to%20perform%20data%20analysis%2C%20generate%20plots%2C%20and%20write%20comments.%20At%20the%20end%2C%20you%20will%20submit%20your%20completed%20notebook%20for%20grading.%20Exams%20(and%20possibly%20quizzes)%20will%20include%20questions%20meant%20to%20test%20your%20understanding%20of%20data%20analysis%20concepts%2C%20such%20as%20interpreting%20plots.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20In%20this%20first%20lab%2C%20you%20have%20three%20objectives%3A%20%0A%20%20%20%20%20%20%20%201.%20Install%2Fsetup%20a%20version%20of%20Jupyter%20notebook%20that%20you%20will%20be%20comfortable%20using%20throughout%20the%20semester.%20(If%20you%20are%20reading%20this%20Jupyter%20notebook%2C%20this%20step%20should%20have%20already%20been%20completed.)%20You%20can%20always%20switch%20or%20upgrade%20to%20an%20another%20version%20later.%0A%20%20%20%20%20%20%20%202.%20Download%20and%20read%20in%20a%20comma-separated%20value%20(CSV)%20dataset.%0A%20%20%20%20%20%20%20%203.%20Run%20the%20fully-written%20data%20analysis%20below%2C%20answering%20the%20three%20questions%20(L1.1%2C%20L1.2%2C%20and%20L1.3)%2C%20and%20upload%20the%20completed%20Jupyter%20notebook%20for%20grading.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20Each%20of%20the%20rectangles%20that%20you%20see%20below%20is%20called%20a%20*cell*.%20To%20run%20the%20code%20in%20a%20cell%20(and%20make%20the%20results%20available%20to%20other%20cells)%2C%20you%20can%20press%20the%20%22play%22%20button%20(triangle)%20or%20press%20%22Shift%20%2B%20Enter.%22%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22If%20you%20are%20using%20JupyterLab%20Desktop%2C%20you%20will%20need%20to%20install%20seaborn.%20Uncomment%20and%20run%20the%20cell%20below.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20JupyterLab%20Desktop%20(not%20Anaconda)%20users%2C%20delete%20the%20%23%20symbol%20from%20the%20last%20two%20lines%20of%20this%20cell%0A%20%20%20%20%23%20and%20then%20run%20the%20cell%20to%20install%20the%20seaborn%20and%20sklearn%20packages%20(which%20is%20pre-installed%20on%20Anaconda%0A%20%20%20%20%23%20and%20Google%20Colab).%0A%0A%20%20%20%20%23!pip%20install%20seaborn%0A%20%20%20%20%23!pip%20install%20scikit-learn%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Run%20the%20cell%20below%20to%20import%20the%20libraries%2Fpackages%20you%20will%20need%20to%20complete%20this%20lab.%20(If%20you%20are%20not%20able%20to%20run%20it%20successfully%2C%20please%20get%20help%20from%20a%20GST%20during%20a%20discussion%20before%20the%20lab%20is%20due.)%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Import%20necessary%20packages.%0A%20%20%20%20%23%20This%20cell%20must%20be%20run%20in%20order%20for%20the%20packages%20to%20be%20available%20below.%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20from%20matplotlib.colors%20import%20ListedColormap%0A%20%20%20%20import%20seaborn%20as%20sns%0A%20%20%20%20from%20sklearn.discriminant_analysis%20import%20LinearDiscriminantAnalysis%0A%20%20%20%20from%20sklearn.model_selection%20import%20train_test_split%0A%20%20%20%20from%20sklearn.metrics%20import%20accuracy_score%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20LinearDiscriminantAnalysis%2C%0A%20%20%20%20%20%20%20%20ListedColormap%2C%0A%20%20%20%20%20%20%20%20accuracy_score%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20pd%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20%20%20%20%20sns%2C%0A%20%20%20%20%20%20%20%20train_test_split%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Next%2C%20we%20are%20going%20to%20read%20in%20the%20CSV%20file%20that%20contains%20our%20dataset.%20If%20you%20are%20working%20in%20Google%20colab%2C%20uncomment%20the%20code%20in%20the%20cell%20below%20and%20run%20it.%20For%20any%20other%20environments%2C%20skip%20the%20next%20cell.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Google%20colab%20users%2C%20delete%20the%20%23%20symbols%20from%20the%20two%20lines%20below%20and%20then%20run%20this%20cell%20to%20mount%20your%20Google%20drive.%0A%0A%20%20%20%20%23from%20google.colab%20import%20drive%0A%20%20%20%20%23drive.mount('%2Fcontent%2Fdrive')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20Download%20the%20dataset%20%60penguins.csv%60%20from%20the%20Lab%201%20folder%20on%20Blackboard%20Learn%20and%20move%20it%20to%20the%20directory%20you%20will%20be%20using%20for%20this%20lab.%20You%20might%20want%20to%20create%20a%20new%20subfolder%20%60datasets%60%20to%20contain%20all%20the%20datasets%20for%20this%20course.%20When%20you%20are%20asked%20to%20do%20something%20in%20a%20lab%20(that%20will%20be%20graded)%2C%20it%20will%20be%20written%20as%20LX.Y%20where%20X%20is%20the%20lab%20number%20and%20Y%20is%20the%20problem%20number.%20Your%20first%20lab%20problem%20is%20below.%0A%0A%20%20%20%20%20%20%20%20---%0A%20%20%20%20%20%20%20%20%23%23%23%23%20L1.1%20Determine%20the%20path%20to%20%60penguins.csv%60%20and%20set%20the%20variable%20%60penguins_path%60%20below%20to%20be%20equal%20to%20the%20resulting%20string.%0A%20%20%20%20%20%20%20%20---%0A%20%20%20%20%20%20%20%20There%20are%20a%20few%20options%20for%20this%2C%20ask%20for%20help%20from%20a%20TA%20if%20you%20are%20stuck%3A%20%0A%20%20%20%20%20%20%20%20-%20Same%20Folder%3A%20If%20you%20will%20keep%20your%20datasets%20in%20the%20same%20folder%20as%20your%20Jupyter%20notebook%2C%20then%20the%20path%20is%20simply%20the%20filename%20%60penguins.csv%60%0A%20%20%20%20%20%20%20%20-%20Subfolder%3A%20If%20you%20will%20keep%20your%20datasets%20in%20a%20subfolder%20inside%20the%20folder%20containing%20your%20Jupyter%20notebook%2C%20then%20you%20use%20the%20local%20filepath.%20For%20example%2C%20if%20the%20subdirectory%20is%20called%20%60datasets%60%2C%20then%20the%20local%20path%20would%20be%20%60datasets%2Fpenguins.csv%60%0A%20%20%20%20%20%20%20%20-%20Some%20other%20folder%3A%20In%20this%20case%2C%20the%20easiest%20thing%20to%20do%20is%20to%20use%20the%20full%20path%20by%20first%20navigating%20to%20the%20file%20and%20then%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20Google%20colab%3A%20Click%20on%20the%20three%20vertical%20dots%20to%20the%20right%20of%20the%20file%20name%20and%20select%20%60Copy%20Path%60%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20Mac%3A%20Right%20click%20on%20the%20file%2C%20then%20press%20and%20hold%20option.%20Select%20%60Copy%20%22penguins.csv%22%20as%20Pathname%60%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20Windows%3A%20Hold%20shift%2C%20right%20click%20on%20the%20file%2C%20and%20select%20%60Copy%20as%20Path%60%0A%0A%20%20%20%20%20%20%20%20Once%20you%20have%20filled%20in%20%60penguins_path%60%2C%20run%20the%20cell%20below.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pd)%3A%0A%20%20%20%20penguins_path%20%3D%20%22https%3A%2F%2Fcurl.bu.edu%2Fek381%2Fpenguins.csv%22%20%23%20Put%20your%20copied%20filepath%20to%20penguins.csv%20inside%20the%20quotes%20to%20the%20left.%0A%20%20%20%20penguins%20%3D%20pd.read_csv(penguins_path)%0A%20%20%20%20return%20penguins%2C%20penguins_path%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Let's%20take%20a%20quick%20look%20at%20the%20dataset%2C%20which%20we%20have%20loaded%20as%20a%20pandas%20dataframe.%20If%20you%20simply%20write%20the%20name%20of%20the%20dataframe%2C%20you%20will%20see%20a%20snapshot%20of%20the%20data.%20Run%20the%20cell%20below%20to%20do%20this.%20You%20will%20see%20that%20this%20is%20a%20dataset%20of%20344%20penguins%2C%20including%20their%20species%2C%20bill%20length%2C%20bill%20depth%2C%20and%20mass.%20Note%20also%20that%2C%20in%20Python%2C%20indexing%20starts%20at%200%2C%20not%201.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(penguins)%3A%0A%20%20%20%20penguins%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22What%20if%20we%20want%20to%20see%20all%20of%20the%20rows%3F%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pd%2C%20penguins)%3A%0A%20%20%20%20pd.set_option(%22display.max_rows%22%2C%20None)%0A%20%20%20%20penguins%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22In%20previous%20semesters%2C%20our%20focus%20was%20on%20writing%20algorithms%20to%20implement%20some%20of%20the%20concepts%20we%20learned%20in%20class.%20For%20example%2C%20an%20important%20quantity%20is%20the%20average%20or%20mean%20of%20a%20variable.%20We%20used%20to%20write%20a%20for%20loop%20to%20sum%20up%20all%20the%20values%2C%20and%20then%20divide%20it%20by%20the%20total%20number%20of%20values.%20This%20semester%2C%20we%20will%20just%20use%20built-in%20functions%20to%20quickly%20compute%20many%20statistics%2C%20including%20the%20mean%2C%20standard%20deviation%2C%20minimum%2C%20and%20maximum.%20Run%20the%20cell%20below%20to%20see.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(penguins)%3A%0A%20%20%20%20penguins.describe()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20---%0A%20%20%20%20%20%20%20%20%23%23%23%23%20L1.2%20What%20is%20the%20body%20mass%20(in%20grams)%20of%20the%20lightest%20penguin%20in%20the%20dataset%3F%0A%0A%20%20%20%20%20%20%20%20%23%23%23%23%20Answer%3A%0A%20%20%20%20%20%20%20%20---%0A%20%20%20%20%20%20%20%20You%20can%20write%20comments%20directly%20in%20the%20Jupyter%20notebook%20using%20%22Markdown%22%20cells%2C%20like%20the%20one%20below.%20(You%20change%20the%20cell%20type%20from%20Code%20to%20Markdown%20and%20back%20using%20the%20menu%20or%20keyboard%20shortcuts.)%20Running%20a%20Markdown%20cell%20will%20display%20the%20text.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22An%20easy%20way%20to%20visualize%20all%20of%20the%20values%20of%20a%20single%20variable%20is%20to%20use%20a%20histogram.%20Run%20the%20cell%20below%20to%20see%20a%20histogram%20for%20the%20bill%20length%2C%20with%20the%20y-axis%20representing%20the%20number%20of%20times%20each%20range%20(or%20bin)%20of%20values%20appears%20in%20the%20dataset.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(penguins%2C%20sns)%3A%0A%20%20%20%20sns.histplot(data%3Dpenguins%2C%20x%3D%22bill_length_mm%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22In%20EK381%2C%20we%20will%20be%20primarily%20interested%20in%20probability%20distributions%2C%20rather%20than%20raw%20counts.%20If%20we%20divide%20the%20counts%20by%20the%20total%20number%20of%20entries%20in%20the%20dataset%2C%20we%20get%20normalized%20counts.%20These%20normalized%20counts%20(or%20frequencies)%20can%20be%20directly%20used%20as%20an%20estimate%20of%20the%20%22true%22%20probability%20distribution.%20Alternatively%2C%20we%20can%20fit%20a%20distribution%20to%20our%20data.%20We%20will%20explore%20both%20ideas%20throughout%20the%20semester.%20Run%20the%20cell%20below%20to%20see%20an%20example.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(penguins%2C%20sns)%3A%0A%20%20%20%20sns.histplot(data%3Dpenguins%2C%20x%3D%22bill_length_mm%22%2C%20stat%20%3D%20%22probability%22%2C%20kde%20%3D%20True)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20Does%20the%20distribution%20of%20bill%20lengths%20change%20based%20on%20the%20penguin%20species%3F%20We%20can%20visualize%20this%20easily%20by%20plotting%20a%20different%20histogram%20for%20each%20species%20as%20done%20below.%20Starting%20in%20Lecture%202%2C%20we%20will%20understand%20this%20as%20a%20form%20of%20%22conditioning.%22%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(penguins%2C%20sns)%3A%0A%20%20%20%20sns.histplot(data%3Dpenguins%2C%20x%3D%22bill_length_mm%22%2C%20stat%20%3D%20%22probability%22%2C%20hue%20%3D%20%22species%22%2C%20kde%20%3D%20True)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22We%20can%20also%20look%20at%20two%20variables%20at%20once%2C%20which%20will%20be%20important%20starting%20in%20Chapter%204.%20The%20scatter%20plot%20below%20places%20a%20dot%20at%20coordinates%20(x%2Cy)%20for%20each%20penguin%20where%20x%20corresponds%20to%20the%20bill%20length%2C%20y%20to%20the%20bill%20depth%2C%20and%20the%20color%20to%20the%20species.%20We%20have%20also%20included%20the%20fitted%20distributions%20for%20the%20individual%20variables%2C%20but%20you%20will%20more%20often%20just%20see%20a%20simple%20scatter%20plot.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(penguins%2C%20sns)%3A%0A%20%20%20%20sns.jointplot(data%3Dpenguins%2C%20x%3D%22bill_length_mm%22%2C%20y%3D%22bill_depth_mm%22%2C%20hue%3D%22species%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Above%2C%20we%20calculated%20some%20interesting%20statistics%2C%20such%20as%20the%20mean%20and%20standard%20deviation.%20We%20can%20visualize%20these%20using%20bar%20plots%2C%20with%20the%20height%20corresponding%20to%20the%20mean%20and%20the%20%22error%20bar%22%20(black%20line)%20corresponding%20to%20the%20standard%20deviation.%20Again%2C%20we%20will%20encounter%20these%20ideas%20later%20in%20the%20semester.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(penguins%2C%20sns)%3A%0A%20%20%20%20_g%20%3D%20sns.catplot(data%3Dpenguins%2C%20kind%3D'bar'%2C%20x%3D'species'%2C%20y%3D'body_mass_g'%2C%20hue%3D'sex'%2C%20errorbar%3D'sd')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Everything%20we%20have%20done%20so%20far%20is%20descriptive.%20What%20about%20using%20some%20values%20to%20predict%20others%3F%20Below%2C%20we%20fit%20a%20line%20to%20predict%20the%20bill%20depth%20from%20the%20bill%20length.%20We%20will%20explore%20estimation%20and%20prediction%20more%20starting%20in%20Chapter%207.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(penguins%2C%20sns)%3A%0A%20%20%20%20_g%20%3D%20sns.lmplot(data%3Dpenguins%2C%20x%3D'bill_length_mm'%2C%20y%3D'bill_depth_mm'%2C%20hue%3D'species')%0A%20%20%20%20_g.set_axis_labels('Bill%20length%20(mm)'%2C%20'Bill%20depth%20(mm)')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Another%20interesting%20possibility%20is%20to%20use%20the%20feature%20data%20for%20classification.%20Specifically%2C%20how%20well%20can%20we%20classify%20penguin%20species%20using%20only%20the%20bill%20depth%20and%20bill%20length%3F%20The%20code%20below%20displays%20one%20possible%20set%20of%20classification%20regions%20that%20work%20correctly%20for%20most%20of%20the%20penguins.%20Penguins%20that%20are%20misclassified%20by%20these%20regions%20are%20circled%20in%20red.%20The%20code%20also%20computes%20and%20outputs%20the%20percentage%20of%20misclassified%20penguins.%20We%20learn%20more%20about%20these%20machine%20learning%20techniques%20in%20Chapter%2010.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20LinearDiscriminantAnalysis%2C%0A%20%20%20%20ListedColormap%2C%0A%20%20%20%20accuracy_score%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20penguins%2C%0A%20%20%20%20plt%2C%0A)%3A%0A%20%20%20%20penguins_data%20%3D%20penguins.dropna()%20%20%23%20Drop%20rows%20with%20missing%20values%0A%0A%20%20%20%20%23%20Extract%20features%20and%20target%0A%20%20%20%20X%20%3D%20penguins_data%5B%5B'bill_length_mm'%2C%20'bill_depth_mm'%5D%5D.values%0A%20%20%20%20species_names%20%3D%20penguins_data%5B'species'%5D.astype('category').cat.categories%0A%20%20%20%20y%20%3D%20penguins_data%5B'species'%5D.astype('category').cat.codes%0A%0A%20%20%20%20%23%20Fit%20LDA%20model%0A%20%20%20%20lda%20%3D%20LinearDiscriminantAnalysis()%0A%20%20%20%20lda.fit(X%2C%20y)%0A%0A%20%20%20%20%23%20Calculate%20training%20error%0A%20%20%20%20predictions%20%3D%20lda.predict(X)%0A%20%20%20%20train_error%20%3D%201%20-%20accuracy_score(y%2C%20predictions)%0A%0A%20%20%20%20%23%20Visualization%20of%20classification%20regions%0A%20%20%20%20x_min%2C%20x_max%20%3D%20X%5B%3A%2C%200%5D.min()%20-%201%2C%20X%5B%3A%2C%200%5D.max()%20%2B%201%0A%20%20%20%20y_min%2C%20y_max%20%3D%20X%5B%3A%2C%201%5D.min()%20-%201%2C%20X%5B%3A%2C%201%5D.max()%20%2B%201%0A%20%20%20%20xx%2C%20yy%20%3D%20np.meshgrid(np.arange(x_min%2C%20x_max%2C%200.1)%2C%20np.arange(y_min%2C%20y_max%2C%200.1))%0A%0A%20%20%20%20Z%20%3D%20lda.predict(np.c_%5Bxx.ravel()%2C%20yy.ravel()%5D)%0A%20%20%20%20Z%20%3D%20Z.reshape(xx.shape)%0A%0A%20%20%20%20%23%20Plot%20decision%20boundaries%0A%20%20%20%20custom_palette%20%3D%20%5B'%231f77b4'%2C%20'%232ca02c'%2C'%23ff7f0e'%5D%20%20%23%20Blue%2C%20Orange%2C%20Green%0A%20%20%20%20colormap%20%3D%20ListedColormap(custom_palette)%0A%0A%20%20%20%20myfig%20%3D%20plt.figure(figsize%3D(8%2C%208))%0A%20%20%20%20plt.contourf(xx%2C%20yy%2C%20Z%2C%20alpha%3D0.2%2C%20cmap%3Dcolormap)%0A%0A%20%20%20%20%23%20Plot%20training%20points%0A%20%20%20%20scatter%20%3D%20plt.scatter(X%5B%3A%2C%200%5D%2C%20X%5B%3A%2C%201%5D%2C%20c%3Dy%2C%20cmap%3Dcolormap%2C%20s%3D50)%0A%0A%20%20%20%20%23%20Highlight%20misclassified%20points%0A%20%20%20%20misclassified%20%3D%20X%5Bpredictions%20!%3D%20y%5D%0A%20%20%20%20plt.scatter(misclassified%5B%3A%2C%200%5D%2C%20misclassified%5B%3A%2C%201%5D%2C%20facecolors%3D'none'%2C%20edgecolors%3D'red'%2C%20s%3D100%2C%20linewidths%3D1.5%2C%20label%3D'Misclassified')%0A%0A%20%20%20%20plt.legend(handles%3D%5Bplt.Line2D(%5B0%5D%2C%20%5B0%5D%2C%20marker%3D'o'%2C%20color%3D'w'%2C%20label%3Dname%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20markerfacecolor%3Dcolor%2C%20markersize%3D10)%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20name%2C%20color%20in%20zip(species_names%2C%20custom_palette)%5D%2C%20title%3D%22Species%22)%0A%0A%20%20%20%20plt.title(%22LDA%20Classification%20of%20Penguin%20Species%22)%0A%20%20%20%20plt.xlabel(%22Bill%20Length%20(mm)%22)%0A%20%20%20%20plt.ylabel(%22Bill%20Depth%20(mm)%22)%0A%0A%20%20%20%20mo.output.replace(f%22Percentage%20of%20data%20misclassified%20by%20these%20decision%20boundaries%3A%20%7Btrain_error%3A.2%25%7D%22)%0A%20%20%20%20mo.output.append(myfig.gca())%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20X%2C%0A%20%20%20%20%20%20%20%20Z%2C%0A%20%20%20%20%20%20%20%20colormap%2C%0A%20%20%20%20%20%20%20%20custom_palette%2C%0A%20%20%20%20%20%20%20%20lda%2C%0A%20%20%20%20%20%20%20%20misclassified%2C%0A%20%20%20%20%20%20%20%20myfig%2C%0A%20%20%20%20%20%20%20%20penguins_data%2C%0A%20%20%20%20%20%20%20%20predictions%2C%0A%20%20%20%20%20%20%20%20scatter%2C%0A%20%20%20%20%20%20%20%20species_names%2C%0A%20%20%20%20%20%20%20%20train_error%2C%0A%20%20%20%20%20%20%20%20x_max%2C%0A%20%20%20%20%20%20%20%20x_min%2C%0A%20%20%20%20%20%20%20%20xx%2C%0A%20%20%20%20%20%20%20%20y%2C%0A%20%20%20%20%20%20%20%20y_max%2C%0A%20%20%20%20%20%20%20%20y_min%2C%0A%20%20%20%20%20%20%20%20yy%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20Finally%2C%20another%20important%20issue%20we%20will%20examine%20throughout%20the%20labs%20are%20the%20limitations%20of%20statistics.%20For%20example%2C%20while%20a%20linear%20fit%20seems%20like%20a%20good%20estimator%20above%2C%20it%20is%20not%20always.%20The%20dataset%20below%20is%20known%20as%20Anscombe's%20quartet.%20Each%20set%20of%2011%20points%20generates%20the%20same%20linear%20fit.%20This%20seems%20like%20a%20good%20fit%20in%20dataset%20I%20where%20as%20a%20curve%20would%20do%20better%20in%20dataset%20II.%20A%20line%20would%20be%20a%20good%20fit%20in%20datasets%20III%20and%20IV%2C%20but%20a%20single%20%22outlier%22%20has%20tricked%20our%20simple%20line%20fitting%20algorithm.%20%0A%0A%20%20%20%20%20%20%20%20**Visualizing%20data%20is%20an%20important%20way%20to%20avoid%20these%20issues%2C%20and%20one%20of%20our%20goals%20throughout%20the%20semester%20is%20to%20provide%20you%20with%20tools%20and%20intuition%20to%20avoid%20statistical%20fallacies.**%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(sns)%3A%0A%20%20%20%20sns.set_theme(style%3D%22ticks%22)%0A%0A%20%20%20%20%23%20Load%20the%20example%20dataset%20for%20Anscombe's%20quartet%0A%20%20%20%20df%20%3D%20sns.load_dataset(%22anscombe%22)%0A%0A%20%20%20%20%23%20Show%20the%20results%20of%20a%20linear%20regression%20within%20each%20dataset%0A%20%20%20%20sns.lmplot(%0A%20%20%20%20%20%20%20%20data%3Ddf%2C%20x%3D%22x%22%2C%20y%3D%22y%22%2C%20col%3D%22dataset%22%2C%20hue%3D%22dataset%22%2C%0A%20%20%20%20%20%20%20%20col_wrap%3D2%2C%20palette%3D%22muted%22%2C%20ci%3DNone%2C%0A%20%20%20%20%20%20%20%20height%3D4%2C%20scatter_kws%3D%7B%22s%22%3A%2050%2C%20%22alpha%22%3A%201%7D%0A%20%20%20%20)%0A%20%20%20%20return%20(df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20---%0A%20%20%20%20%20%20%20%20%23%23%23%23%20L1.3%20Please%20describe%2C%20in%20your%20own%20words%2C%20an%20engineering%20application%20from%20your%20major%20where%20some%20of%20the%20techniques%20showcased%20above%20might%20be%20useful.%20Briefly%20explain%20why.%0A%0A%20%20%20%20%20%20%20%20%23%23%23%23%20Answer%3A%0A%20%20%20%20%20%20%20%20---%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20That's%20it%20for%20the%20first%20lab.%20After%20you%20have%20successfully%20filled%20in%20and%20run%20all%20of%20the%20cells%20above%2C%20please%20upload%20your%20completed%20Jupyter%20notebook%20(ek381lab1.ipynb)%20to%20Gradescope%20for%20grading.%0A%0A%20%20%20%20%20%20%20%20There%20are%20many%2C%20many%20resources%20online%20for%20learning%20Python%2C%20Jupyter%20notebook%2C%20and%20exploratory%20data%20analysis.%20You%20can%20find%20a%20few%20options%20on%20the%20course%20website%2C%20please%20let%20us%20know%20if%20you%20find%20other%20particularly%20good%20resources%20that%20we%20failed%20to%20mention.%20The%20sample%20plots%20generated%20above%20were%20taken%20in%20part%20from%20the%20seaborn%20tutorial%20here%20https%3A%2F%2Fseaborn.pydata.org%2Findex.html%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A